Το γυμνάσιο ήταν κτισμένο σε δύο επίπεδα. Το ανώτερο άνδηρο περιλάμβανε τον ξυστό, μία στεγασμένη στοά πλάτους 7 μ. και μήκους 178,35 μ., δηλαδή όσο ένα πυθικό στάδιο. Εδώ ασκούνταν οι αθλητές στο τρέξιμο σε περίπτωση κακοκαιρίας και ονομαζόταν έτσι επειδή έπρεπε να ξύνεται για να ισοπεδώνεται. Πρόσφατες ανασκαφές ανέδειξαν τον ξυστό σε όλο του το μήκος. Αρχικά, στον 4ο αι. π.Χ., ήταν δωρικού ρυθμού, κτισμένος από πωρόλιθο, αργότερα, όμως, οι Ρωμαίοι αντικατέστησαν την κιονοστοιχία της πρόσοψης με μία ιωνική, κατασκευασμένη από μάρμαρο. Παράλληλα προς τον ξυστό υπήρχε η παραδρομίδα, ένας ισοπεδωμένος υπαίθριος διάδρομος πλάτους 6 μ., για άσκηση στους αγώνες δρόμου. Στο κατώτερο άνδηρο βρισκόταν η παλαίστρα, που περιλάμβανε μία τετράγωνη κεντρική αυλή με στοές ολόγυρα, χωρισμένες σε δωμάτια. Οι επιγραφές μάς πληροφορούν για τη χρήση αυτών των δωματίων ως σφαιριστήριο, αποδυτήριο, κόνιμα, πιθανώς και ένα ιερό του Ερμή ή του Ηρακλή. Στην αυλή γινόταν η εξάσκηση στην πάλη ή στην πυγμαχία. Δυτικά της παλαίστρας διατηρείται ακόμη και σήμερα κυκλική πισίνα, διαμέτρου 10 μ. και βάθους 1,80 μ., που αποτελεί βασικό στοιχείο του ελληνικού λουτρού. Πίσω της, μια σειρά από κρουνούς τροφοδοτούσαν με νερό από την Κασταλία πηγή δέκα λίθινες λεκανίδες, που συγκοινωνούσαν μεταξύ τους. Πρόκειται για τους λουτήρες των αθλητών. Ακόμη δυτικότερα κτίσθηκε το 120 μ.Χ. βαλανείο ή ρωμαϊκές θέρμες, για ζεστά λουτρά. Μερικούς αιώνες αργότερα την περιοχή του γυμνασίου κατέλαβε ένα βυζαντινό μοναστήρι. Το καθολικό του, που είχε οικοδομηθεί επάνω από την παλαίστρα, κατεδαφίστηκε το 1898 για να γίνουν οι ανασκαφές. Μάλιστα, σε έναν από τους κλασικούς κίονες, που είχε ξαναχρησιμοποιηθεί στο μοναστήρι, χάραξε το όνομά του ο λόρδος Βύρων, όταν επισκέφθηκε τους Δελφούς.