Pałac Anny Wazówny został wzniesiony przed 1564 rokiem z inicjatywy Rafała Działyńskiego – starosty brodnickiego. Bazą dla nowego budynku pałacowego była wcześniejsza budowla gotycka wzniesiona za czasów rządów Zakonu krzyżackiego. Głównym powodem do wzniesienia rezydencji przez Rafała Działyńskiego w Brodnicy był pożar zamku krzyżackiego w 1550 roku, odwiecznej siedziby najwyższej władzy w Brodnicy. Przy budowie pałacu wykorzystano fragmenty murów i zabudowań przedzamcza spalonego zamku.
Jednym z najsławniejszych mieszkańców pałacu starostów w Brodnicy, od którego wywodzi się jego nazwa była księżniczka Anna Wazówna siostra króla polskiego Zygmunta III Wazy.