Początki historii zamku związane są ze znanym rodem Leszczyńskich którzy byli posiadaczami Gołuchowa w latach 1507-1695. Około roku 1560 starosta radziejowski i wojewoda brzesko-kujawski Rafał Leszczyński w miejscu obecnego zamku wzniósł dwór obronny. Była to masywna dwupiętrowa budowla otoczona fosą na planie prostokąta z czterema ośmiobocznymi wieżami w narożach. Stanowiła jeden z ciekawszych przykładów obronnych rezydencji bogatej szlachty. Mimo że wzniesiona w dobie renesansu w jej rozplanowaniu widać jeszcze wpływy średniowiecza. Po śmierci Rafała Leszczyńskiego Gołuchów odziedziczył w roku 1592 jego najmłodszy syn Wacław. Rodzinna rezydencja nie zaspakajała jego sporych ambicji i przystąpił do jej rozbudowy. Po południowej stronie ojcowskiego dworu wzniósł budynek mieszkalny wsparty na narożu pięcioboczną basztą. Obie budowle połączono dwoma wąskimi skrzydłami dzięki czemu uzyskano wewnętrzny dziedziniec. Nowy budynek zgodnie z ówczesną modą ozdobiono od strony dziedzińca renesansowym arkadowym krużgankiem.