Tras la conquista otomana de Rethymno en 1646, la estructura del castillo se mantuvo prácticamente sin cambios, aunque aumentó el número de viviendas en su interior. A partir del siglo XX, los habitantes fueron trasladados gradualmente y los edificios en ruinas fueron demolidos por el municipio, el servicio arqueológico y la Organización Griega de Turismo para restaurar el carácter histórico del lugar. Actualmente el castillo es el monumento más importante de Rethymno y se utiliza para eventos culturales. En su interior se conservan la Sultan Ibrahim Mosque y el Erofili Municipal Theatre, aunque muchas construcciones de los períodos veneciano y otomano fueron demolidas. El perímetro de la fortaleza se conserva casi por completo e incluye cuatro medio-baluartes principales, defensas salientes secundarias y tres puertas de acceso. La entrada principal se encuentra en el lado este, mientras que las entradas secundarias están al norte y al oeste. Justo después de la puerta principal se encuentran el almacén de artillería, la plaza central de la fortaleza con la mezquita y antiguos edificios religiosos y administrativos, además de posibles espacios carcelarios. En las partes salientes del castillo se encontraban antiguamente las viviendas de oficiales y las zonas de almacenamiento, como el complejo junto a la puerta norte. También se conservan algunos edificios antiguos de función desconocida, una pequeña capilla del siglo XIX, polvorines dispersos y cisternas de agua.