Скучная история говорит, что Вышеград, наоборот, был построен уже после Града. В X веке тут стоял замок, в то время называвшийся Храстен, а к XI веку переименованный в Вышеград. В 1070 году князь Богемии Вратислав II (позже ставший королем Вратиславом I) перенес свою резиденцию с Града на Вышеград. Поводом стал спор с его братом Яромиром, пражским епископом. Вратислав требовал от брата уступить ему должность епископа, тот отказал, и раздосадованный Вратислав основал на Вышеграде собственный епископат, а заодно перенес сюда резиденцию. Поэтому на гербе Вышеграда изображены ключи от райских врат. В бывшей крепости Вратислав построил церковь Петра и Павла, базилику Святого Лаврентия (Вавржинца), ротонду Святого Мартина и королевский дворец.
Переездам власти с Града на Вышеград и обратно Прага обязана своим топографическим развитием: народ решил не мотаться туда-сюда, а сделать торговую площадь где-нибудь посередке - так появилась Староместская площадь. К концу XII столетия с переездами закончили не в пользу Вышеграда: королевский двор окончательно перебрался на Град, и политическое значение Вышеграда резко упало. Новый подъем Вышеграда связан с Карлом IV, постановившим, что отсюда будут начинаться коронационные процессии. По такому случаю замок решено было обновить: в 1348-1350 годах перестраивается королевская резиденция и возводятся новые крепостные стены, соединенные со стенами Нового Места. В середине XV века все это довольно сильно порушат гуситы. После Тридцатилетней войны Габсбурги поставили вокруг Праги укрепления, обнесли город стеной, а Вышеград превратили в цитадель без гражданского населения - главное место обороны города. Барочную перестройку Вышеграда начали в 1650 году архитекторы Конти и Приами.
По состоянию на 2002 год Вышеград состоит из шести бастионов, в которые ведут трое ворот. На территории крепости находятся церковь, две часовни, несколько жилых домов, спортивные сооружения и кладбище.