Der Bau des prestigeträchtigen architektonischen Komplexes, Residenz der Adelsfamilie Ferretti, Sitz des Museums seit 1958, geht auf die Mitte des 16. Jahrhunderts zurück. Die Außenfassade wird Antonio da San Gallo dem Jüngeren zugeschrieben, einem Zivil- und Militärarchitekten, der in den 40er Jahren des 16. Jahrhunderts in Ancona tätig war.

Die von Graf Angelo di Girolamo Ferretti in Auftrag gegebene Dekoration des Adelsgeschosses wurde vom manieristischen Maler Pellegrino Tibaldi ausgeführt und kurz nach 1560 unterstützt; Es wurden kunstvolle Holzdecken geschaffen, die Wände der Haupthalle und verschiedener damit verbundener Räume mit Fresken bemalt: die Emblemhalle, die Mythenhalle, die Labyrinthhalle. Der 3. Stock hat Deckenfresken mit Grotesken, fantastischen Landschaften, Monstern, mythologischen Figuren und Masken im römischen Stil des späten 16. Jahrhunderts (Federico Zuccari, Luzio Luzi?).

1759 wurde das ursprüngliche Gebäude renoviert, wahrscheinlich nach einem Projekt von Luigi Vanvitelli, mit der Vergrößerung der Fassade, dem Bau des Balkons, des zentralen Portals, der großen Treppe und der hängenden Terrasse mit Portikus und Loggien darüber. Diese Erweiterung wurde durch Statuen und Büsten bereichert, die wahrscheinlich aus der Werkstatt von Gioacchino Varlè (1731-1806) in Ancona stammten. Die sehr raffinierten grotesken Gewölbe einiger Salons im 3. Stock stammen ebenfalls aus dem 18. Jahrhundert.

Das Gebäude wurde mehrfach restauriert: in den Jahren 1928-1931 im Auftrag der Familie Ferretti, die die Arbeiten dem Mailänder Architekten Tornaghi anvertraute; in den frühen 1950er Jahren nach den Luftangriffen; schließlich in den 70er-80er Jahren nach dem Erdbeben von Ancona 1972.