W okresie zaboru rosyjskiego pałac został gruntownie rozgrabiony z wyposażenia, nawet drzewa i krzewy wywieziono do rezydencji carskich. Podobny los spotkał kilkaset rzeźb z pałacowego ogrodu. Przez pewien czas pałac pełnił funkcję pensji dla panien z wyższych sfer rosyjskich. I wojnę światową pałac przetrwał bez większych zniszczeń. Mieścił się tu między innymi szpital polowy. Dużo gorzej wyglądał po zakończeniu działań II wojny światowej, gdzie zniszczeniu uległo ok 70 % zabudowań pałacowych. Obecnie po odbudowie i rewitalizacji jest siedzibą Uniwersytetu Medycznego w Białymstoku.
Zwiedzanie tego zespołu pałacowo-parkowego zaczynamy od przejścia przez Bramę Gryfa pochodzącą z XVIII wieku. Kształtem przypomina łuk tryumfalny, na którego szczycie króluje złoty Gryf - symbol rodu Branickich.
