Spojením pôvodného hradu opevneného hradbami s vežami so staršou obytnou vežou (donjon), nazvanou "Šalamúnova" vznikol tzv. Dolný hrad. V jeho blízkosti vystaval Karol I. Róbert palác, ktorý bol jeho synom Ľudovítom a neskôr Žigmundom Luxemburským mohutne prestavaný a rozšírený. (Žigmund ale presunul kráľovské sídlo do Budína v rokoch 1405 až 1408). Vyšehrad využíval počas svojej vlády Matej I. Korvín ako letné sídlo. V roku 1473 tam začal stavbu svojho paláca. Stavba bola v rokoch 1476 - 84 postavená v neskorogotický štýle, ale v detailoch už vyzdobená talianskymi renesančnými umelcami, čo bol prvý prienik renesancie na pôdu Strednej Európy. Tento palác (dnes Kráľovský (či Matyášov) palác) stojí dodnes a je prístupný verejnosti.

Po smrti Mateja Korvína nastáva úpadok Vyšehradu. Význam stratil najmä po bitke pri Moháči v roku 1526. V roku 1543 sa posádka hradu vzdala presile tureckých vojsk. Hrad bol vyhodený do povetria Turkami v roku 1686. Definitívne bol hrad zničený po kuruckých povstaniach v rokoch 1703 – 1704.

O tom že Vyšehrad neupadol do zabudnutia, rozhodli v roku 1869 aktivity farára Jozefa Karola Viktorina, ktorý vyhlásil zbierku a vybudoval turistický chodník na horný hrad. Visegrád získal opäť mestské privilégiá v roku 2000.

Dnes je hrad a mesto vyhľadávanou turistickou lokalitou.