Di questo palazzo vescovile, incendiato nel 1814, non restano che le mura della grande sala del XII sec. con un grazioso rosone del XIV sec. e tre arcate che davano sulle cucine. La cinta comprendeva una prigione per monaci e suore situata sotto il livello dell'alta marea e posta sotto la giurisdizione dei vescovi. Dal XV sec. fu nota col nome di Clink, da cui l'espressione to be in the clink (essere in galera).