Pierwotny zamek został wzniesiony jako warownia obronna w XII wieku. W XIII wieku powstał donżon (stołp), czyli romańska wieża mieszkalno-obronna, która do dziś jest jedną z najlepszych zachowanych tego typu konstrukcji w Polsce. W XIV wieku, za panowania Kazimierza Wielkiego, zamek został rozszerzony i pełnił funkcję królewskiej warowni. W tym okresie Lublin stał się ważnym miastem administracyjnym i handlowym, miejscem spotkań szlachty oraz siedzibą sądów. W XVII wieku, na skutek licznych walk z Kozakami i Tatarami oraz potopu szwedzkiego (1655-1660), zamek tak mocno ucierpiał, że jego rola, jako kluczowego elementu systemu obronnego Polski zmalała. Przez jakiś czas zamek pełnił jeszcze funkcje reprezentacyjne. W XIX wieku, za panowania rosyjskiego, zniszczony zamek rozebrano, a na jego miejscu zbudowano więzienie.
Niestety, dekady funkcjonowania zamku jako więzienie odcisnęły piętno na jego postrzeganiu. Dla wielu lublinian pozostał w pamięci jako okrutne więzienie, gdzie najpierw zaborca rosyjski, później okupant hitlerowski a po wojnie stalinowski aparat partyjny więził wielu działaczy patriotycznych, funkcjonariuszy polskiego podziemia i oficerów AK. Dopiero w II połowie lat 50 tych XX wieku, po remoncie przekształcono zabudowania więzienne w siedzibę Muzeum Lubelskiego.