O príncipe Albert não achou o castelo já existente grande o suficiente para a família real e então construiu outro. O novo castelo começou a ser construído em 1853, com granito local, sendo concluído em 1856;
Mesmo após a compra, a família Real demoliu boa parte da estrutura, pois o príncipe Albert considerava o castelo pequeno para atender a realeza. Então ele ordenou que fossem feitas diversas reformas. Mesmo após a sua morte, em 1861, a rainha Vitória continuou visitando o castelo todos os anos.