Il palazzo sorge su un lato della piazza dei Contrari antistante la Rocca e fu realizzato intorno al 1566-67, per volere di Ercole Contrari, dall'architetto ferrarese Bartolomeo Tristano, all'epoca operante per il duca Alfonso II d'Este. Edificato su progetto del noto architetto vignolese Jacopo Barozzi, l'edificio consta di un corpo centrale e due laterali, con portale a bugnato.

All'interno si può ammirare la scala a chiocciola a pianta ovale costruita da Bartolomeo Tristano sempre su disegno di Barozzi.

Passato ai Boncompagni, dopo essere stato trascurato per molto tempo, nel 1880 per volere del principe Antonio Boncompagni Ludovisi fu affrescato dai pittori modenesi Fermo Forti e Angelo Forghieri.

In facciata si trova la targa in bronzo con l'effigie dell'architetto Iacopo Barozzi detto "il Vignola", opera dello scultore savignanese Giuseppe Graziosi. (1905 ca.)