Il ginnasio era costruito su due livelli. La terrazza superiore comprendeva lo xisto, un portico coperto largo 7 m e lungo 178,35 m, cioè quanto uno stadio pitico. Qui gli atleti si allenavano nella corsa in caso di maltempo e veniva chiamato così perché il terreno doveva essere raschiato per essere livellato. Recenti scavi hanno portato alla luce lo xisto per tutta la sua lunghezza.
In origine, nel IV secolo a.C., era di ordine dorico, costruito in pietra porosa; successivamente, però, i Romani sostituirono il colonnato della facciata con uno ionico, realizzato in marmo. Parallelamente allo xisto si trovava la paradromide, una pista all’aperto livellata larga 6 m, destinata all’allenamento nelle gare di corsa.
Sulla terrazza inferiore si trovava la palestra, che comprendeva un cortile centrale quadrato circondato da portici, suddivisi in ambienti. Le iscrizioni ci informano sull’uso di questi ambienti come sala per il gioco della palla (sferisterio), spogliatoio, ambiente per cospargersi di polvere (conima) e probabilmente anche come santuario di Ermes o di Eracle. Nel cortile si svolgevano gli allenamenti della lotta e del pugilato.
A ovest della palestra si conserva ancora oggi una piscina circolare, con diametro di 10 m e profondità di 1,80 m, elemento fondamentale del bagno greco. Dietro di essa, una serie di fontanelle alimentava con l’acqua della fonte Castalia dieci vasche di pietra comunicanti tra loro. Si trattava dei lavatoi degli atleti.
Ancora più a ovest fu costruito nel 120 d.C. un balaneion, cioè delle terme romane, per i bagni caldi. Alcuni secoli più tardi, l’area del ginnasio fu occupata da un monastero bizantino. Il suo katholikon, costruito sopra la palestra, fu demolito nel 1898 per consentire gli scavi archeologici. Inoltre, su una delle colonne classiche che era stata riutilizzata nel monastero, Lord Byron incise il proprio nome quando visitò Delfi.