El Polo museale Palazzo dei Priori se encuentra dentro del homónimo Palazzo del siglo XIII que domina la Piazza del Popolo. El palacio, resultado de la anexión de una residencia privada y la antigua iglesia de San Martino, adquirió su aspecto actual solo en el siglo XVI con la imponente escalinata de acceso y la estatua de bronce de papa Sixto V fundida en 1588 por Andrea Sansovino cuando Fermo se convirtió en sede arzobispal.

En su interior alberga la Pinacoteca Civica, la Sala del Mappamondo y las Salas de Representación que incluyen: la Sala de Retratos, la Sala de los Trajes, la Sala de los Escudos, la Sala del Alcalde, la Sala del Águila con los valiosos frescos de Pio Panfili y la Sala Roja. 

La Pinacoteca Civica alberga una importante colección de pinturas de la escuela marchigiana y veneciana, junto con arte en piedra, trajes, escudos, porcelanas, muebles y objetos de valor. Entre las obras más significativas se encuentran las de Andrea da Bologna, Francescuccio di Cecco Ghissi, Jacobello del Fiore (Historias de Santa Lucía), Vittore Crivelli (Crucifixión), Vincenzo Pagani, Giuliano Presutti y Giovanni Lanfranco (Pentecostés). De especial interés es un tapiz flamenco diseñado por Justo de Gante y la pintura de Pedro Pablo Rubens que representa la Adoración de los Pastores, encargada al pintor en 1608 por los Padres Filipinos para su iglesia. También se incluye en la visita de la pinacoteca la preciosa Sala del Mappamondo encargada por el cardenal fermano Decio Azzolino y realizada en 1688 por el arquitecto Adamo Sacripante, que conserva el núcleo más antiguo de la biblioteca. La Sala, completamente amueblada con estanterías de nogal, alberga parte del fondo antiguo de la Biblioteca Comunale donado principalmente por el fermano Romolo Spezioli, médico personal de la reina Cristina de Suecia. Destaca en el ambiente el imponente mappamondo, realizado por el geógrafo Silvestro Amanzio Maroncelli en 1713.