La construction du prestigieux complexe architectural, résidence de la noble famille Ferretti, siège du Museo Archeologico Nazionale delle Marche depuis 1958, remonte au milieu du XVIe siècle. La façade extérieure est attribuée à Antonio da San Gallo le Jeune, architecte civil et militaire actif à Ancône dans les années 1540.

La décoration de l'étage noble, commandée par le comte Angelo di Girolamo Ferretti, a été réalisée par le peintre maniériste Pellegrino Tibaldi et ses assistants peu après 1560 ; des plafonds en bois élaborés ont été réalisés, les murs du salon principal et de plusieurs pièces qui y sont reliées ont été fresqués : la salle des emblèmes, la salle des mythes, la salle du labyrinthe. Le 3ème étage présente des plafonds fresqués avec des grotesques, des paysages fantastiques, des monstres, des figures mythologiques et des mascarons dans le style romain du tardo cinquecento (Federico Zuccari, Luzio Luzi ?).

En 1759, le bâtiment d'origine a été rénové, probablement sur le projet de Luigi Vanvitelli, avec l'agrandissement de la façade, la construction du balcon, du portail central, de l'escalier d'honneur et de la terrasse suspendue, avec un portique et des loggias supérieures. Cet agrandissement a été enrichi de statues et de bustes probablement de l'atelier anconétain de Gioacchino Varlè (1731-1806). Toujours du XVIIIe siècle, les voûtes raffinées à grotesques de certains petits salons du 3ème étage.

Le palais a fait l'objet de plusieurs interventions de restauration : dans les années 1928-1931 pour le compte de la famille Ferretti qui a confié les travaux à l'architecte milanais Tornaghi ; au début des années 1950, suite aux bombardements aériens ; enfin dans les années 1970-1980, après le séisme anconitain de 1972.