All'estremità settentrionale dell'insenatura di Portsmouth si trova un castello quasi interamente circondato dal mare. La prima fase della sua costruzione fu iniziata alla fine del III sec., in epoca romana. Le mura sono ancora in piedi, sebbene la fortezza sia stata utilizzata dai Sassoni nei secoli V e VI, prima di diventare un castello medievale all'inizio del XII sec., sotto il regno di Enrico I.