Die ältesten Spuren menschlichen Lebens in diesem Gebiet stammen von den illyrischen Stämmen der Autariaten und Ardier und reichen bis ins Jahr 1500 v. Chr. zurück. Später wurde das Gebiet rund um Višegrad Teil der römischen Provinz „Malavico“. Durch das Tal des Flusses Drina führte die Straße „Via Drina“. Während der Forschungen des „Museums für Naturwissenschaften“ in Sarajevo im Jahr 1966 wurden im Gebiet des Dorfes Musići Überreste slawischer Keramik aus dem 6. und 7. Jahrhundert entdeckt. Diese gelten als Beweis dafür, dass sich damals auch Slawen in der Region niedergelassen haben. In der Nähe von Višegrad befinden sich zudem zahlreiche Ortschaften mit mittelalterlichen Kernen; die bekanntesten sind Velika und Mala Gostilja.

Aufgrund seiner geografischen, strategischen und wirtschaftlichen Lage hatte Višegrad eine turbulente Geschichte. Es war Ziel vieler Eroberungen und dadurch immer wieder hart umkämpft. In der Zeit von Stefan Nemanja gehörte das gesamte Gebiet zum serbischen Reich der Nemanjić-Dynastie. Mitte des 14. Jahrhunderts stand es unter der Kontrolle des serbischen Feudalherrschers Nikola Altomanović. Danach wurde das Gebiet vom bosnischen König Tvrtko I. regiert und dem bosnischen Königreich angeschlossen.

Der Name Višegrad wurde erstmals 1433 erwähnt, als die Stadt zum Herrschaftsgebiet des mächtigen Hauses Pavlović gehörte. Damals entsprach ihr geografischer Standort jedoch nicht exakt der heutigen Siedlung. Auf der Spitze eines Hügels in der Nähe der Drina-Brücke sind noch heute Spuren der alten Stadt zu sehen, die sogenannte Pavlovina, benannt nach dem Herzog Pavle Radenković. Die Ruinen befinden sich an zwei Orten, die als „Gornji grad“ und „Donji grad“ bekannt sind.

Laut türkischen Quellen fiel die Stadt 1462 unter osmanische Herrschaft. Das neu gegründete Sarajevo und die durch Višegrad führende Straße von dort nach Istanbul verhalfen der Stadt erstmals zu wirtschaftlichem Aufschwung. Im Jahr 1577 ließ Mehmed Paša Sokolović die steinerne Brücke erbauen.