Il palazzo così come appare oggi fu costruito per la maggior parte dal vescovo Gower (1328-1347). La cinta è di poco anteriore. È composto da un cortile costeggiato su tre lati da lunghi edifici e sul quarto da un muro con una porta con archi di spinta. La Bishop's Hall (sala del vescovo) e il suo piano superiore, la cucina, la cappella e la stanza delle perpetue costituivano probabilmente la residenza principale. La grande sala che si trova a sud serviva ad accogliere gli ospiti importanti.