Der Palazzo del Duca steht direkt vor der Rocca Roveresca. Mitte des 16. Jahrhunderts von Guidubaldo II della Rovere nach einem Projekt von Gerolamo Genga in Auftrag gegeben, wurde es in den Jahrzehnten unmittelbar danach von seinem Sohn und Erben Francesco Maria II, dem letzten Vertreter der Dynastie, erweitert, der die Symmetrie der Fassade veränderte , wodurch das Eingangsportal dann auf der linken Seite platziert wird. Das Schloss sollte den Herzog nicht dauerhaft beherbergen, sondern als repräsentative Residenz für den Hof und seine illustren Gäste dienen, die von den Fenstern aus die auf dem Platz stattfindenden Militärparaden bewundern konnten.

Im Inneren schmückt eine prächtige Kassettendecke, die Taddeo Zuccari zugeschrieben wird, den Thronsaal. Die 49 Kassetten wurden höchstwahrscheinlich zwischen 1553 und 1555 hergestellt und erinnern an fröhliche, fröhliche, festliche Atmosphären. Aber auch Ironie und Satire gegenüber politischer und kultureller Macht sind zu sehen: Der Meister Zuccari malt Karnevalsmotive, die eine imaginäre Welt auf den Kopf stellen, in der Kinder, dargestellt durch Putten, über Erwachsene herrschen und die Armen über die Reichen. Ebenfalls im Thronsaal ist ein Stammbaum auf Papier der Familie Della Rovere zu sehen.

Das Gebäude überblickt den gleichnamigen Platz, dessen Name sich stattdessen auf Giovanni Della Rovere bezieht. Der Platz hat einzigartige Eigenschaften für die Renaissancezeit: Kein religiöses Gebäude überragt ihn und der sogenannte Anatre-Brunnen (oder die Löwen) befindet sich in einer dezentralen Position, was die militärische Nutzung dieses Platzes bestätigt.