Secondo la tradizione, Torquato Tasso si ritirava spesso all'ombra dell'arbusto, trovandovi riposo e ispirazione durante i suoi ultimi giorni di vita. Accanto alla quercia si trovava il suo alloggio, dove visse anche San Filippo Neri il quale, affezionato al luogo, lo frequentò assieme ai giovani del suo oratorio, e dove nel XVII secolo venne realizzato anche un piccolo teatro all'aperto sfruttando la cavea naturale del terreno. Questo spazio, noto oggi come Anfiteatro Quercia del Tasso, è stato per lungo tempo un punto di ritrovo e un centro culturale per eventi e rappresentazioni.