La parte più antica della Fattoria del Colle è un eremo ancora oggi visibile nella cantina, esso compare nei “Decimari” del XII e XIV secolo come “Ermitorium S.Egidii de Querciola”. Seguono secoli burrascosi, nel 1555 il paese di Trequanda fu assediato e probabilmente anche il Colle venne messo a ferro e fuoco. Nel 1592 Claudio Socini costruì la cappella e parte della villa attuale. Il Socini apparteneva a una famiglia di giuristi e di eretici: il personaggio di maggior spicco fu Mariano Sozzino (1401-1467) a cui Enea Silvio Piccolomini, poi divenuto Papa con il nome di Pio II, dedicò la sua Storia dei due amanti: testo che lascia supporre una giovanile passione fra il futuro Papa e la moglie del piccolo e brutto Mariano. I problemi fra i Socini e la Chiesa non finiscono qui: Lelio (1525-1562) e Fausto (1539-1604) furono fra i maggiori esponenti della Riforma protestante. La Chiesa li scomunicò e il Granduca di Toscana confiscò tutti i beni della famiglia compresa la Fattoria del Colle. Fu poi ricomprata da Livio Socini nel 1919 che la riportò in famiglia dopo trecento anni. Nel corso dei secoli la villa del Colle era stata ampliata e arricchita per adattarla al soggiorno dei nobili cacciatori che vi sostavano durante l’inverno e per accogliere Pietro Leopoldo d’Asburgo (1747-1792) che ne fece il suo rifugio segreto. Illuminato Granduca di Toscana e successivamente Imperatore d’Austria, Pietro Leopoldo, era tuttavia un inguaribile donnaiolo, tanto che la sua morte è spesso imputata agli eccessi amorosi. Con la scusa di seguire la bonifica della Val di Chiana, egli soggiornava spesso al Colle dove, dopo di lui, arrivava, attraverso una stradina di bosco, la Contessina Isabella dai lunghi capelli neri e dai grandi occhi romantici.