Οι πύργοι είναι τετράπλευροι, κατασκευασμένοι εξολοκλήρου από λίθο και είχαν δύο ορόφους. Μεταξύ των πύργων, στα ενδιάμεσα διαστήματα του τείχους διαμορφωνόταν διάδρομος. Λίθινες σκάλες οδηγούσαν από το εσωτερικό του Φρουρίου στους πύργους και στον περίδρομο. Οι αρχαίες Ελευθερές ήταν πόλη που βρισκόταν στα σύνορα Αττικής και Βοιωτίας. Λέγεται ότι ιδρύθηκε από το θεό Διόνυσο, ο οποίος «ελευθέρωσε» κάθε βοιωτική πόλη (έδωσε ανεξαρτησία). Τα παλαιότερα αρχαιολογικά ευρήματα από την περιοχή, ανάγονται στους μυκηναϊκούς χρόνους (1200 π.Χ.). Σύμφωνα με τον περιηγητή Παυσανία (2ος αι. μ.Χ.), οι Ελευθερές ήταν πόλη βοιωτική η οποία από έχθρα προς τους Θηβαίους, προσχώρησε στην αττική επικράτεια. Θεωρείται ότι ο Αθηναίος τύραννος Πεισίστρατος (6ο αι. π.Χ.) μετέφερε από την πόλη των Ελευθερών στην Αθήνα το αρχαίο άγαλμα του Διονύσου (ξόανο) και ίδρυσε στη νότια πλαγιά της Ακρόπολης των Αθηνών, το Ιερό του Διονύσου Ελευθερέα. Στις Ελευθερές δώρισε ένα νέο άγαλμα από μάρμαρο. Οι Ελευθερές αναφέρονται επίσης ως η γενέτειρα του αθηναίου γλύπτη Μύρωνα (περ. 480–440 π.Χ.). Τον 4ο αι. π.Χ., στο ύψωμα πάνω από τον οικισμό κατασκευάστηκε ένα ισχυρό φρούριο. Η ανέγερση του αποδίδεται στους Βοιωτούς, οι οποίοι, μετά την παρακμή της Αθήνας, επέκτειναν την κυριαρχία τους στην περιοχή. Τον 2ο αι. μ.Χ. οι Ελευθερές αναφέρονται ως εγκαταλελειμμένη κώμη. Ωστόσο αρχαιολογικά ευρήματα στην περιοχή του οικισμού, μαρτυρούν κατοίκηση κατά τους πρώτους μεταχριστιανικούς αιώνες (3ο-4ο αι. μ.Χ.) Επιπλέον στην ανατολική πλαγιά του Φρουρίου σώζονται τα θεμέλια δύο ναών των πρώιμων χριστιανικών χρόνων (παλαιοχριστιανικές βασιλικές), ενδείξεις μιας ακμαίας χριστιανικής κοινότητας. Κατά τους νεότερους χρόνους, το Φρούριο των Ελευθερών αναφέρεται και ως Γυφτόκαστρο.