Concebido como guarnición militar, el edificio, en la primera mitad del siglo XVI, adoptó el aspecto de una residencia noble con un gran jardín, del que se conservan muebles, pinturas, mayólicas, diversos bustos de la época romana y todo el archivo. Se conservan de la familia Bufalini. Las bóvedas de las salas albergan las pinturas de Cristofano Gherardi, artista toscano de formación manierista que, entre 1542 y 1552, reprodujo fábulas mitológicas y decoraciones grotescas en la torre principal, en la Sala de los Dioses y en la Sala de Apolo. El Castillo ha acogido eventos (entre ellos el Belén Viviente), conferencias (entre ellas la de Francesca Turini Bufalini), ferias (como Sapori e mestieri), presentaciones de libros , actividades educativas también en relación con la alternancia escuela-trabajo.