Questo sito che domina un guado sul fiume ha da sempre attratto gli uomini. Occupato inizialmente da tribù germaniche e slave nel X sec., cadde poi nelle mani dei sovrani premyslidi di Boemia che vi fecero erigere una fortezza. Nel 1179, l'imperatore Federico Barbarossa diede inizio alla costruzione dell'attuale castello imperiale. Sono ancora visibili begli elementi architettonici come il mastio in basalto, chiamato Torre nera (Cerná vež), e la sala superiore della cappella, ornata da colonne, capitelli e volte con nervature.