A differenza di altre case storiche di Charleston riportate al fascino originale, l'Aiken-Rhett House è conservata come appariva nel1860. Costruita nel 1817 come casa monofamiliare di mattoni in stile federale, la struttura fu acquistata dalla famiglia Aiken che la modificò e ampliò negli anni. I danni del tempo sono evidenti, specialmente nei pochi mobili d'origine, ma ciò fa parte della bellezza della proprietà. Alle spalle, i fabbricati annessi risalenti al 1817 ospitano gli alloggi degli schiavi, stravaganti giardini e i servizi.