La construction du prestigieux complexe architectural, résidence de la noble famille Ferretti, siège du Musée depuis 1958, remonte au milieu du XVIe siècle. La façade extérieure est attribuée à Antonio da San Gallo le Jeune, architecte civil et militaire actif à Ancône dans les années 40 du 1500.

La décoration de l'étage noble, commandée par le comte Angelo di Girolamo Ferretti, fut réalisée par le peintre maniériste Pellegrino Tibaldi et assisté peu après 1560 ; des plafonds en bois élaborés ont été créés, les murs de la salle principale et de diverses pièces qui y sont reliées ont été décorés de fresques : la salle des emblèmes, la salle des mythes, la salle du labyrinthe. Le 3ème étage a des plafonds décorés de fresques avec des grotesques, des paysages fantastiques, des monstres, des figures mythologiques et des masques de style romain de la fin du XVIe siècle (Federico Zuccari, Luzio Luzi ?).

En 1759, le bâtiment d'origine a été rénové, probablement sur un projet de Luigi Vanvitelli, avec l'agrandissement de la façade, la construction du balcon, du portail central, du grand escalier et de la terrasse suspendue, avec portique et loggias au-dessus. Cette extension a été enrichie de statues et de bustes provenant probablement de l'atelier d'Ancône de Gioacchino Varlè (1731-1806). Les voûtes grotesques très raffinées de certains salons du 3e étage datent également du XVIIIe siècle.

Le bâtiment a subi plusieurs interventions de restauration : dans les années 1928-1931 pour le compte de la famille Ferretti qui a confié les travaux à l'architecte milanais Tornaghi ; au début des années 1950, suite aux bombardements aériens ; enfin dans les années 70 et 80, après le tremblement de terre d'Ancône en 1972.