Na de Ottomaanse verovering van Rethymno in 1646 bleef de structuur van de vesting grotendeels behouden, hoewel het aantal woningen binnen de muren toenam. Vanaf de 20e eeuw werden bewoners geleidelijk verplaatst en vervallen gebouwen afgebroken door de gemeente, de Archeologische Dienst en de Griekse Nationale Toerismeorganisatie om het historische karakter van het gebied te herstellen. Tegenwoordig is het kasteel het belangrijkste monument van Rethymno en wordt het gebruikt voor culturele evenementen. Binnen de vesting bevinden zich de Sultan Ibrahim Mosque en het Erofili Municipal Theatre, hoewel veel gebouwen uit de Venetiaanse en Ottomaanse periode zijn afgebroken. De omtrek van het fort is bijna volledig bewaard gebleven en bestaat uit vier hoofd-halfbastions, extra uitstekende verdedigingswerken en drie toegangspoorten. De hoofdingang bevindt zich aan de oostzijde, terwijl de secundaire ingangen in het noorden en westen liggen. Direct na de hoofdingang bevinden zich het artilleriemagazijn, het centrale plein van de vesting met de moskee, voormalige kerkelijke en administratieve gebouwen, en mogelijk gevangenisruimtes. Op de uitstekende delen van het kasteel bevonden zich vroeger de woningen van officieren en opslagruimten, zoals het complex bij de noordpoort. Ook enkele oude gebouwen met onbekende functie zijn bewaard gebleven, samen met een kleine 19e-eeuwse kapel, verspreide kruitmagazijnen en waterreservoirs.