Citato verso il Mille, il castello appartenne ai Pio, dal 1450 Pio di Savoia, feudatari di Carpi dal 1331 al 1525, quando la città passò interamente agli Este. Sotto il dominio estense, ospitò il Governatore, il Vescovado, il Municipio, i civici istituti culturali, e infine fu sottoposto dal 2003 a un vasto intervento di restauro. Costituito da torri e rocche di varie epoche, si configurò come palazzo in epoca rinascimentale, per volere di Alberto III Pio, principe umanista.

La facciata visibile da piazzale Re Astolfo costituisce il nucleo più antico del complesso, con la  Rocca vecchia e la Rocca nuova, sebbene numerosi rifacimenti abbiano modificato la struttura originaria.

Sul lato orientale della piazza, a fronte del Portico lungo, si distende la maestosa facciata che imprime al complesso uniformità e fisionomia di palazzo, ristrutturata ai primi del '500 sui modelli di Baldassarre Peruzzi, allievo di Raffaello; al centro, la Torre dell'Orologio del 1627.

A nord si eleva la Torre del Passerino, da Passerino de' Bonaccolsi che la edificò attorno al 1320; sull'angolo, la Torre circolare dell'Uccelliera, torre angolare del castello trasformata in ninfeo con voliera agli inizi del '500; a sud, l'imponente Torrione di Galasso Pio o degli Spagnoli, che nel 1440-50 accorpò due torri vicine.

Entrando dal portale della Torre dell'Orologio si accede al cortile d'onore, modellato sulle architetture lombarde di Bramante ai primi del '500, che costituisce la "cerniera" tra i vari edifici dell'antico Castello.
Gli splendidi interni hanno cicli pittorici di varie epoche: di grande fascino è la Sala della Dama nella Torre del Passerino, con affreschi in stile gotico "internazionale"; fastosi i cicli affrescati nel primo Cinquecento che Alberto III affidò agli artisti della sua corte: suggestivi il suo Studiolo con la raffigurazione di Apollo e le Muse e, nell'Appartamento nobile, la Sala dei Mori dipinta da Giovanni del Sega secondo un coltissimo gusto archeologico, la vicina Cappella con affreschi di Bernardino Loschi e tondi con Evangelisti di Andrea Della Robbia, la Stanza del Forno, la Camera del Principe, dipinta a loggiato da Loschi, la Stanza dei Trionfi con allegorie e carri trionfali ispirati al poema del Petrarca; la Stanza dell'Amore con tracce d'affreschi ispirati agli Amores di Ovidio. 

Il Comune di Carpi ha fatto del Palazzo un polo museale e culturale di primario rilievo, con il Museo del Palazzo, il Museo della Città, il Museo Monumento al Deportato e il Castello dei Ragazzi (0-16 anni).