Podanie ludowe głosi, że znany z uległości wobec małżonki władca Jan III Sobieski wzniósł go na specjale życzenie Marii Kazimiery. Widocznie stare zamczysko musiało wówczas wydawać się kapryśnej Francuzce lokum niegodnym przyszłej królowej.
Po pierwszym rozbiorze Polski w 1772 roku władze pruskie urządziły w nim koszary wojskowe. Od 1920 roku budynek był wykorzystywany jako magazyn wojskowy a później zakładowy. Taka sytuacja trwała aż do lat osiemdziesiątych XX wieku.
Obecnie odrestaurowany pałac wchodzi w skład kompleksu zamkowego. Jego atutem jest rozciągająca się z okien panorama na dziewiczą Dolinę Dolnej Wisły.