Pierwotny chroberski pałac zbudowany został przez Stanisława Tarnowskiego około roku 1550. Niedługo potem, w roku 1582, dobra te zakupił biskup Piotr Myszkowski. Myszkowscy „panowali” tutaj przez półtora stulecia. W wieku XVIII, a ściśle w roku 1727, Chroberz przeszedł we władanie rodu Wielopolskich. Wielopolscy swą główną siedzibę mieli w Książu. Dopiero margrabia Aleksander Wielopolski - postać w polskiej historii zapisana dość kontrowersyjnie - postanowił przenieść ją do Chrobrza. Opracowanie projektu pałacu Wielopolski powierzył Henrykowi Marconiemu.
Wielopolscy byli właścicielami pałacu aż do czasu powstania Polski Ludowej. Ostatnio pałac był w posiadaniu Zespołu Szkół Rolniczo - Hodowlanych.