La construcción del prestigioso complejo arquitectónico, residencia de la noble familia Ferretti, sede del Museo Archeologico Nazionale delle Marche desde 1958, se remonta a mediados del siglo XVI. La fachada exterior se atribuye a Antonio da San Gallo el Joven, arquitecto civil y militar activo en Ancona en los años 40 del 1500.

La decoración del piso noble, encargada por el conde Angelo di Girolamo Ferretti, fue realizada por el pintor manierista Pellegrino Tibaldi y sus ayudantes poco después de 1560; se crearon elaborados techos de madera, se frescaron las paredes del salón principal y de varios espacios conectados a él: la sala de los emblemas, la sala de los mitos, la sala del laberinto. El tercer piso presenta techos frescos con grotescos, paisajes fantásticos, monstruos, figuras mitológicas y mascarones en el estilo romano tardocinquecentista (¿Federico Zuccari, Luzio Luzi?).

En 1759, el edificio original fue reestructurado, probablemente según el proyecto de Luigi Vanvitelli, con la ampliación de la fachada, la construcción del balcón, del portal central, de la escalera de honor y del balcón colgante, con pórtico y logias superiores. Esta ampliación fue enriquecida con estatuas y bustos probablemente de la escuela anconetana de Gioacchino Varlè (1731-1806). También del siglo XVIII son las refinadas bóvedas con grotescos de algunos salones del tercer piso.

El palacio ha sido objeto de varios trabajos de restauración: en los años 1928-1931 por parte de la familia Ferretti, que encargó las obras al arquitecto milanés Tornaghi; en los primeros años '50, tras los bombardeos aéreos; finalmente en los años '70-'80, después del terremoto de Ancona de 1972.