Il palazzo edificato tra il 1764 e il 1771 per volere di Francesco III d'Este. Originariamente sede dell'Arsenale Ducale, fu trasformato prima in Albergo dei Poveri su progetto dell'architetto di corte Pietro Termanini e successivamente, nel 1788, in Albergo delle Arti, con l'allestimento di opifici e manifatture per volere di Ercole III, mosso dalla volontà di avviare al lavoro i poveri ospiti. A seguito dell'unificazione d'Italia, nel 1881, il Comune di Modena acquistò il palazzo il Palazzo per ospitare gli Istituti culturali civici e le splendide raccolte d'arte e bibliografiche estensi, già custodite nel Palazzo Ducale.

Il palazzo ospita i più importanti musei della città.

Vi si trovano il Museo civico d'arte, il Museo civico del Risorgimento, il Museo lapidario estense, la Gipsoteca Graziosi e il Museo archeologico etnologico.

Nel Palazzo dei musei è possibile inoltre visitare la Biblioteca estense e la Galleria Estense, le due raccolte che testimoniano la passione per le arti e la cultura della casa d'Este.

Biblioteca Estense Universitaria

La collezione libraria degli Estensi, che ebbe fra i suoi bibliotecari due grandi eruditi come Ludovico Antonio Muratori e Girolamo Tiraboschi, venne aperta al pubblico nel 1764 da Francesco III d'Este. Accorpata dopo l'Unità d'Italia alla Biblioteca Universitaria, conserva una ricchissima raccolta di volumi, manoscritti, opuscoli e preziosi incunaboli. Tra questi spicca la Bibbia di Borso d'Este, una delle più mature espressioni di miniatura rinascimentale ferrarese, in due volumi, realizzata su pergamena tra il 1455 e il 1461.

Altre opere importantissime sono poi la carta Catalana, degli inizi del '400, la carta nautica detta Del Cantino, del 1502, in cui è raffigurato il tratto delle Americhe scoperto da Colombo nel suo terzo viaggio e il trattato di astrologia De Sphaera.

Biblioteca Poletti

La Biblioteca Civica d'Arte fu aperta nel 1872 in seguito al generoso lascito del modenese Luigi Poletti, architetto pontificio e progettista della Basilica di S. Paolo fuori le Mura a Roma. Conserva oltre 71.000 volumi del Novecento, 16.000 dal Cinquecento all'Ottocento, oltre 300 testate di riviste di cui oltre 100 in corso.

Al patrimonio librario si affiancano importanti raccolte di stampe, disegni di figura e di architettura, mappe e carte geografiche, fotografie, archivi di privati e di enti riguardanti la storia dell'arte e dell'architettura.