Der Bau des prestigeträchtigen architektonischen Komplexes, Residenz der adligen Familie Ferretti, Sitz des Museo Archeologico Nazionale delle Marche seit 1958, stammt aus der Mitte des 16. Jahrhunderts. Die äußere Fassade wird Antonio da San Gallo dem Jüngeren zugeschrieben, einem zivilen und militärischen Architekten, der in den 1540er Jahren in Ancona tätig war.

Die Dekoration des Hauptgeschosses, in Auftrag gegeben von Graf Angelo di Girolamo Ferretti, wurde vom manieristischen Maler Pellegrino Tibaldi und seinen Gehilfen kurz nach 1560 ausgeführt; aufwendige Holzdecken wurden geschaffen, die Wände des Hauptsaals und verschiedener angrenzender Räume wurden freskiert: der Saal der Embleme, der Saal der Mythen, der Saal des Labyrinths. Das 3. Stockwerk zeigt Deckenfresken mit Grotesken, fantastischen Landschaften, Monstern, mythologischen Figuren und Masken im späten römischen Stil des späten 16. Jahrhunderts (Federico Zuccari, Luzio Luzi?).

Im Jahr 1759 wurde das ursprüngliche Gebäude wahrscheinlich nach einem Entwurf von Luigi Vanvitelli umgebaut, wobei die Fassade erweitert, der Balkon, das zentrale Portal, die Ehrentreppe und die hängende Terrasse mit darüber liegendem Portikus und Loggien errichtet wurden. Diese Erweiterung wurde wahrscheinlich mit Statuen und Büsten aus der Werkstatt von Gioacchino Varlè (1731-1806) aus Ancona bereichert. Ebenfalls aus dem 18. Jahrhundert stammen die raffinierten Deckenfresken einiger Salons im 3. Stockwerk.

Der Palast wurde mehrmals restauriert: in den Jahren 1928-1931 im Auftrag der Familie Ferretti, die die Arbeiten dem Mailänder Architekten Tornaghi anvertraute; in den frühen 1950er Jahren nach Luftangriffen; schließlich in den 1970er-1980er Jahren nach dem Erdbeben von Ancona im Jahr 1972.