El complejo museístico del Palazzo dei Priori se encuentra dentro del palacio del mismo nombre del siglo XIII que se destaca en la Piazza del Popolo. El edificio, resultado de los anexos de una casa particular y la antigua iglesia de San Martino, adquirió su aspecto actual recién en el siglo XVI con la imponente escalera de acceso y la imponente estatua de bronce del Papa Sixto V fundida en 1588 por Andrea Sansovino cuando Fermo se convierte en sede arzobispal.

En su interior se encuentran la Galería de Arte Cívico, la Sala del Mappamondo y las Salas de Representación que incluyen: la Sala de los Retratos, la Sala de los Trajes, la Sala de los Escudos, la Sala del Mayor, la Sala dell'Aquila con los preciosos frescos de Pio Panfili y el Salón Rojo.

La Galería de Arte Cívico alberga una importante colección de pinturas de las escuelas Marche y Veneto, junto con artefactos de piedra, trajes, escudos de armas, porcelana, muebles y objetos valiosos. Entre las obras más significativas se encuentran las de Andrea da Bologna, Francescuccio di Cecco Ghissi, Jacobello del Fiore (Historias de Santa Lucía), Vittore Crivelli (Crucifixión), Vincenzo Pagani, Giuliano Presutti y Giovanni Lanfranco (Pentecostés). De particular interés es un tapiz flamenco realizado a partir de un diseño de Giusto de Gand y el cuadro de Peter Paul Rubens que representa la Adoración de los pastores, encargado al pintor en 1608 por los Padres filipinos para su iglesia. La preciosa "Sala del Mappamondo" encargada por el Cardenal a Fermo Decio Azzolino j. y construido en 1688 por el arquitecto Adamo Sacripante, quien conserva el núcleo más antiguo de la biblioteca. La Sala, completamente amueblada con estantes de madera de nogal, alberga parte de la colección antigua de la Biblioteca Municipal donada principalmente por Romolo Spezioli, médico personal de la Reina Cristina de Suecia. El imponente globo domina el entorno, creado por el geógrafo Silvestro Amanzio Maroncelli en 1713.