Μετά το θάνατο του Γουλιέλμου Βιλλεαρδουίνου ακολουθεί μια περίοδος αναταραχών, ξεσπούν έντονες διαμάχες για την διαδοχή στην ηγεμονία και σταδιακά το πριγκηπάτο οδηγείται στην παρακμή. Το Χλεμούτσι γίνεται αντικείμενο διεκδικήσεων μεταξύ διαφόρων ευγενών. Σ' αυτό φυλακίζεται και πεθαίνει η Μαργαρίτα της Άκοβας, επειδή θεωρήθηκε υπεύθυνη για την διεκδίκηση του Μοριά από τον Φερδινάρδο της Μαγιόρκας και την έλευση των Καταλανών που κατέλαβαν το κάστρο το 1315. Το Χλεμούτσι ανακαταλαμβάνεται από τους Φράγκους και παραμένει στην κατοχή τους μέχρι τις αρχές του 15ου αιώνα, όταν πέρασε στα χέρια του Κάρολου Τόκκου, κόμη της Κεφαλονιάς και Δεσπότη της Ηπείρου. Το 1427 περιήλθε ειρηνικά στον Κωνσταντίνο Παλαιολόγο, μετά τον γάμο του με την κόρη του Τόκκου και αυτός το χρησιμοποίησε ως στρατιωτικό και διοικητικό του κέντρο. Το 1460 το κάστρο κατελήφθη από τους Τούρκους και το 1687 από τους Ενετούς, που το κράτησαν στην κατοχή τους ως το 1715, όταν ξαναπέρασε στα χέρια των Τούρκων. Φαίνεται όμως πως το Χλεμούτσιέχει αρχίσει να χάνει το σημαντικό του ρόλο στην άμυνα της περιοχής, ήδη από το τέλος της Φραγκοκρατίας. Το 1701 ο Grimani προτείνει την καταστροφή του. Η θέση του δεν εξυπηρετούσε τα συμφέροντα των Ενετών, που σχετίζονταν με τη θάλασσα, ενώ το ήδη παλιό κάστρο απαιτούσε εκτεταμένες εργασίες για την επισκευή και τον εκσυγχρονισμό του. Το Χλεμούτσι έμεινε στην κατοχή των Τούρκων μέχρι την Επανάσταση του 1821. Σημαντική καταστροφή υπέστη κατά τον βομβαρδισμό μέρους του το 1826 από τον Ιμπραήμ που κατέστρεψε ένα πύργο του εσωτερικού περιβόλου και το τείχος κοντά σε αυτόν, υποδηλώνοντας πως το κάστρο έπαιξε κάποιο ρόλο κατά την Ελληνική Επανάσταση. Σήμερα το Χλεμούτσι εξακολουθεί να διατηρεί τον έντονο φράγκικο χαρακτήρα του. από τους μεταγενέστερους κατακτητές μόνο οι Τούρκοι φαίνεται να ενδιαφέρθηκαν για τον εκσυγχρονισμό του και έκαναν μικρής έκτασης εργασίες, κυρίως για την προσαρμογή στη χρήση των πυροβόλων όπλων. Έτσι το κάστρο παραμένει ένα από τα σημαντικότερο και πιο καλοδιατηρημένα φρούρια της Ελλάδας και αποτελεί εξαιρετικό δείγμα φρουριακής αρχιτεκτονικής της εποχής της Φραγκοκρατίας στην Πελοπόννησο. Το κάστρο αποτελείται από δύο περιβόλους. Ο εξωτερικός περίβολος είναι πολυγωνικός και ενισχύει την οχύρωση στις ομαλότερες πλαγιές του λόφου. Στα νοτιοανατολικά, στο ψηλότερο σημείο του λόφου, υψώνεται ο εσωτερικός περίβολος, εξαγωνικός, που διαμορφώνεται με σειρά θολωτών αιθουσών γύρω από μια μεγάλη κεντρική αυλή Τα τείχη του εξωτερικού περιβόλου απολήγουν σε περίδρομο και επάλξεις, που η σημερινή τους διαμόρφωση ανήκει στην οθωμανική περίοδο, όπως και οι τρεις πύργοιστο δυτικό τμήμα του. Η κεντρική είσοδος βρίσκεται στη βορειοδυτική πλευρά του και είχε αρχικά μια πύλη. Η αρχική αυτή φράγκικη κατασκευή περιελάμβανε είσοδο με μορφή απλού διαδρόμουπου κατέληγε στην προαναφερθείσα πύλη. Η σημερινή της διαμόρφωση που περιελαμβάνει δύο ακόμα διαδοχικές πύλες πριν από την φράγκικη και έναν ορθογώνιο θολοσκεπή χώρο, ανήκει στην οθωμανική περίοδο. Στην περίμετρο των τειχών διατηρούνται κατάλοιπα κτηρίων που επίσης ανήκουν στην αρχική φράγκικη κατασκευή του 13ου αιώνα, όπως και οι δεξαμενές και τα ίχνη δικτύου αγωγώντου εξωτερικού περιβόλου. Ίχνη κτισμάτων που σώζονται σε διάφορα σημεία στο εσωτερικό του εξωτερικού περιβόλου αποτελούν μάλλον τουρκικές προσθήκες. ανάμεσά τους ξεχωρίζουν τα ερείπια ενός τουρκικού τζαμιού. Ο εσωτερικός περίβολος έχει μορφή ενιαία και ανήκει στην αρχική φράγκικη περίοδο, χωρίς να έχει υποστεί μεταγενέστερες επεμβάσεις στις αρχιτεκτονικές του λεπτομέρειες. Η είσοδος βρίσκεται στην βορειοδυτική πλευρά του εξαγώνουκαι αποτελείται από δύο διαδοχικές πύλες και το διαβατικό. Στα ανατολικά της σώζονται στον όροφο ίχνη του παρεκκλησιού του κάστρου. Ο ίδιος περίβολος αποτελείται από μια σειρά συνεχόμενων θολωτών αιθουσών που περιβάλουν την κεντρική αυλή. Οι αίθουσες καλύπτονται με δώμα, που αποτελούσε το διάδρομο κίνησης των στρατιωτικών και ήταν προσιτό από την εσωτερική αυλή μέσω της κτιστής σκάλας. Στους χώρους του εσωτερικού περιβόλου βρισκόταν η κατοικία του καστελλάνου ή του πρίγκηπα, χώροι υποδοχής, μαγειρεία και κατάλυμα για την φρουρά. Οι αίθουσες ήταν διώροφες (εκτός από την αίθουσα G) και στο εσωτερικό τους σώζονται δεξαμενές, πολυάριθμα τζάκια, παρόμοια με αυτά των περιμετρικών κτηρίωντου εξωτερικού περιβόλου, αποθηκευτικές κόγχες και χώροι αποχωρητηρίων. Η είσοδος σε αυτές γινόταν από την εσωτερική αυλή και στους ορόφους με εξωτερικές κτιστές σκάλες.Στεγάζονται με ψηλούς ημιελλειψοειδείς θόλους, που σε συνδυασμό με τα ανοίγματα με χαμηλωμένο θόλο και τα ελαφρώς οξυκόρυφα τόξα των ανοιγμάτων επιβεβαιώνουν τη δυτική καταγωγή των ιδρυτών του κάστρου