Il primo castello fu costruito dal figlio di Gugliemo il Conquistatore, Robert Courteheuse, alla fine dell'XI sec. Il torrione è tutto ciò che resta del castello che lo sostituì nel XII sec. Dall'alto dell'enorme costruzione si ammirano tutta la città, il fiume e la campagna in lontananza. Nel 1848 si fecero attraversare i muri di cinta del castello dalla rete di binari che porta alla stazione centrale dalle molte arcate; il torrione è così tagliato dalla pittoresca Black Gate.