Znakiem rozpoznawczym kościelnego wzgórza są strzeliste wieże XIII wiecznej katedry pw. Św. Marcina. Po jego lewej stronie widać zabudowania pałacu biskupiego.
Pierwszy ośrodek religijny mógł istnieć na wzgórzu już w czasach Państwa Wielkomorawskiego. W XII wieku wraz z węgierską kolonizacją pojawiają się pierwsze wzmianki o miejscowym kościele św. Marcina, który od XIII wieku stał się siedzibą opactwa, kapituły i ważnym ośrodkiem religijnym na całym Spiszu. Pierwsze obwarowania pojawiły się w XIV wieku, solidniejsze; które dotrwały do czasów współczesnych, pochodzą z lat 1662 - 1665. Wtedy też miejscowość otrzymała prawa miejskie. W 1776 utworzono w Spiskiej Kapitule biskupstwo spiskie.