L'imponente edificio dai corpi ortogonali ha conservato nella facciata il suo aspetto trecentesco. La parte posteriore è stata rimaneggiata nel XVI sec., mentre l'altra ala del palazzo mostra un portale rinascimentale finemente scolpito. Le sale accolgono oggi due importanti collezioni: il Museo archeologico della civiltà etrusca (urne funerarie...) e il Museo Diocesano di arte sacra (tele di Francesco Zuccarelli).