Conçu comme une garnison militaire, le bâtiment, dans la première moitié du XVIe siècle, prend l'apparence d'une demeure noble avec un grand jardin, dont le mobilier, les peintures, les majoliques, divers bustes de l'époque romaine et l'ensemble des archives sont conservés de la famille Bufalini. Les voûtes des salles abritent les peintures de Cristofano Gherardi, artiste toscan de formation maniériste qui, entre 1542 et 1552, reproduisit des fables mythologiques et des décorations grotesques dans la tour principale, dans la Salle des Dieux et dans la Salle d'Apollon. Le Château a accueilli des événements (dont la Crèche Vivante), des conférences (dont celle sur Francesca Turini Bufalini), des foires (comme Sapori e mestieri), des présentations de livres , des activités pédagogiques également en relation avec l'alternance école-travail.