Le Polo museale Palazzo dei Priori se trouve à l'intérieur du Palazzo dei Priori du XIIIe siècle qui domine la Piazza del Popolo. Le palais, fruit de l'annexion d'une résidence privée et de l'ancienne église de San Martino, a pris son aspect actuel seulement au XVIe siècle avec l'imposant escalier d'accès et l'imposante statue en bronze du pape Sixte V fondue en 1588 par Andrea Sansovino lorsque Fermo devient siège archiépiscopal.

À l'intérieur se trouvent la Pinacoteca Civica, la Sala del Mappamondo et les Salles de Réception qui comprennent : la Sala dei Ritratti, la Sala dei costumi, la Sala degli Stemmi, la Sala del Sindaco, la Sala dell’Aquila avec les précieux fresques de Pio Panfili et la Sala Rossa. 

La Pinacoteca Civica abrite une importante collection de peintures de l'école des Marches et vénitienne, ainsi que des objets en pierre, des costumes, des blasons, des porcelaines, des meubles et des objets de valeur. Parmi les œuvres les plus significatives, celles d'Andrea da Bologna, Francescuccio di Cecco Ghissi, Jacobello del Fiore (Histoires de Sainte Lucie), Vittore Crivelli (Crucifixion), Vincenzo Pagani, Giuliano Presutti et Giovanni Lanfranco (Pentecôte). D'un intérêt particulier, une tapisserie flamande réalisée sur le dessin de Giusto de Gand et la peinture de Pierre Paul Rubens représentant L'Adoration des Bergers, commandée au peintre en 1608 par les Pères Filippini pour leur église. Le parcours de visite de la pinacothèque comprend la précieuse Sala del Mappamondo commandée par le cardinal fermano Decio Azzolino et réalisée en 1688 par l'architecte Adamo Sacripante, qui conserve le noyau le plus ancien de la bibliothèque. La salle, entièrement meublée avec des étagères en noyer, abrite une partie du fonds ancien de la Bibliothèque Communale principalement donné par le fermano Romolo Spezioli, médecin personnel de la reine Christine de Suède. L'imposant globe terrestre réalisé par le géographe Silvestro Amanzio Maroncelli en 1713 domine l'environnement.