Das Polo museale im Palazzo dei Priori befindet sich im gleichnamigen zweihundertjährigen Palast, der sich auf der Piazza del Popolo erhebt. Der Palast, das Ergebnis der Vereinigung eines Privathauses und der alten Kirche San Martino, erhielt sein heutiges Aussehen erst im 16. Jahrhundert mit der imposanten Eingangstreppe und der imposanten bronzenen Statue von Papst Sixtus V, die 1588 von Andrea Sansovino gegossen wurde, als Fermo zum Erzbischofssitz wurde.

Im Inneren beherbergt es die Pinacoteca Civica, den Saal des Globus und die Repräsentationssäle, darunter: den Porträtsaal, den Kostümsaal, den Wappensaal, den Bürgermeistersaal, den Adleraal mit den wertvollen Fresken von Pio Panfili und den Roten Saal. 

Die Pinacoteca Civica beherbergt eine wichtige Sammlung von Gemälden der Marken- und venezianischen Schule sowie Steinarbeiten, Kostüme, Wappen, Porzellan, Möbel und kostbare Gegenstände. Zu den bedeutendsten Werken gehören die von Andrea da Bologna, Francescuccio di Cecco Ghissi, Jacobello del Fiore (Geschichten der Heiligen Lucia), Vittore Crivelli (Kreuzigung), Vincenzo Pagani, Giuliano Presutti und Giovanni Lanfranco (Pfingsten). Von besonderem Interesse ist ein flämischer Teppich, entworfen von Giusto de Gand, und das Gemälde von Peter Paul Rubens, das die Anbetung der Hirten darstellt, das der Maler 1608 von den Filippini-Patern für ihre Kirche in Auftrag gegeben wurde. Im Besichtigungsrundgang der Pinacoteca ist der wertvolle Globussaal enthalten, der vom fermanischen Kardinal Decio Azzolino beauftragt und 1688 vom Architekten Adamo Sacripante realisiert wurde und den ältesten Kern der Bibliothek enthält. Der Saal, komplett eingerichtet mit Nussbaumbücherregalen, beherbergt einen Teil des antiken Bestands der Stadtbibliothek, der hauptsächlich von Romolo Spezioli aus Fermo, dem persönlichen Arzt der Königin Christina von Schweden, gespendet wurde. Das beeindruckende Highlight des Raumes ist der im Jahr 1713 vom Geografen Silvestro Amanzio Maroncelli angefertigte Globus.