Le Palazzo del Duca fait face juste en face de la Rocca Roveresca. Commandée par Guidubaldo II della Rovere au milieu du XVIe siècle sur un projet de Gerolamo Genga, elle fut agrandie dans les décennies qui suivirent immédiatement par son fils et héritier Francesco Maria II, le dernier représentant de la dynastie, qui modifia la symétrie de la façade , ce qui rend le portail d'entrée est alors placé sur la gauche. Le palais n'a pas été conçu pour abriter le duc en permanence, mais plutôt comme une résidence représentative de la cour et de ses illustres invités, qui pouvaient admirer depuis les fenêtres les défilés militaires qui se déroulaient sur la place.

A l'intérieur, un splendide plafond à caissons attribué à Taddeo Zuccari embellit la Salle du Trône. Les quarante-neuf coffres ont vraisemblablement été réalisés entre 1553 et 1555 et rappellent des ambiances joyeuses, gaies, festives. Mais on peut aussi y voir ironie et satire envers le pouvoir politique et culturel : le maître Zuccari peint des thèmes carnavalesques montrant un monde imaginaire à l'envers, où les enfants, représentés par des putti, règnent sur les adultes, et les pauvres sur les riches. Toujours dans la salle du trône est également visible un arbre généalogique sur papier de la famille Della Rovere.

Le bâtiment donne sur la place du même nom, dont le nom fait plutôt référence à Giovanni Della Rovere. La place présente des caractéristiques uniques pour la période de la Renaissance : aucun édifice religieux ne la surplombe et la Fontaine dite de l'Anatre (ou des Lions) est située en position décentrée, confirmant ainsi l'usage militaire de cet espace.