Na przełomie XVIII i XIX wieku Dowspuda należała do majątku hrabiego Ludwika Michała Paca, zagorzałego patrioty, uczestnika kampanii napoleońskiej w stopniu generała. Hrabia stosując sprawdzone na zachodzie, głównie w Anglii, metody gospodarowania dorobił się dużego majątku. Wkrótce staje się znaczącą postacią Królestwa Polskiego. Odwiedza go wielu przedstawicieli magnaterii a także właścicieli ziemskich, chcących poznać tak efektywne metody pracy. To wymagało posiadania należnej jego pozycji rezydencji. Hrabia zatrudnia wiec najlepszych projektantów i w latach 1820-23 buduje w Dowspudzie wspaniały pałac w stylu gotyku angielskiego.