Questo edificio (uno dei primi esempi di stile neoclassico), che domina Green Park, fu costruito nel 1766 per il conte Spencer. Una parte ospita oggi alcuni uffici, le otto sale di gala fanno da ambientazione storica per diverse manifestazioni. Al piano terra, si visitano il salone, la biblioteca, la sala da pranzo, la stanza delle palme, realizzata da Vardy. Al primo piano, la sala da musica, la camera di Lady Spencer, la sala grande e la sala dei dipinti in stile greco.