La fortezza del XII sec., cardine del sistema difensivo del ducato di Valois, è ritoccata una prima volta sotto Luigi d'Orléans dall'architetto Jean le Noir. Smantellata all'inizio del XVII sec., viene acquistata nel 1813 da Napoleone I per meno di 3000 franchi-oro. Sarà suo nipote, Napoleone III, ad affidare il restauro nel 1857 a Viollet-le-Duc. Inizialmente l'architetto progetta solo il rifacimento della parte abitabile, ma alla fine del 1861, dato che Pierrefonds dovrà diventare residenza imperiale, il cantiere assume una nuova dimensione. Appassionato di civiltà medievale e di arte gotica, Viollet-le-Duc intraprende un rifacimento completo. I lavori durano fino al 1884. Oggi, si possono ammirare otto torri difensive, ciascuna ornata da una statua di prode: Artù, Alessandro, Goffredo, Giosuè, Ettore, Giuda Maccabeo, Carlomagno e Cesare. La facciata principale del cortile d'onore presenta delle arcate a manico di paniere che formano un portico sormontato da una galleria (insieme immaginato da Viollet-le-Duc). Il primo piano del mastio comprende le sale della coppia imperiale, la cui decorazione fu disegnata dallo stesso architetto. La sala delle Prodi è una lunga navata (52 m per 9), coperta da un soffitto a carena rovesciata, che prende il nome dalle statue di nove prodi ispirate ai romanzi di cavalleria, situate sul camino. Infine, il cammino di ronda nord riprende tutti i miglioramenti dei sistemi difensivi medievali (camminamenti a livello, senza scalini, né porte strette per circolare meglio).