Il castello costruito da William de Warenn, uno dei più ardenti alleati di Guglielmo il Conquistatore, era in origine solo una grande casa in pietra fortificata. Il mastio fu costruito durante la guerra civile, verso il 1140.