Questo edificio fu fondato nel 1542 da Lord Audley (originairio di Audley End), al posto di un collegio benedettino. Alle spalle del secondo cortile troviamo il Pepys Building, che ospita la biblioteca privata di Samuel Pepys, donata da quest'ultimo al college nel 1703 e che contiene il manoscritto del suo Diario, redatto in linguaggio cifrato.