Το Κάστρο ήταν τετράγωνο στην κάτοψη, ενισχυμένο με κυκλικούς και τετράγωνους πύργους και πύλη στην ανατολική πλευρά. Παρά τις επεμβάσεις και επισκευές που πραγματοποιήθηκαν σε αυτό από τους βυζαντινούς αυτοκράτορες μέχρι τον 11ο αι., η αρχική μορφή του δεν διαφοροποιήθηκε σημαντικά. Κατά τη διάρκεια της μέσης και ύστερης βυζαντινής εποχής το νησί αποτέλεσε μήλον της έριδος μεταξύ των Βυζαντινών και διαφόρων εχθρικών δυνάμεων, το Κάστρο ωστόσο πρέπει να ήταν σε λειτουργία κατά τον 13ο αι., ενώ στα μέσα του 14ου αι. ενισχύθηκε από τους Γενουάτες Giustiniani που κυριάρχησαν στο νησί. Το Κάστρο ερημώθηκε το 1475, όταν το νησί υποτάχθηκε στους Οθωμανούς και το μεγαλύτερο τμήμα του πληθυσμού μετακινήθηκε μαζικά στη Χίο και στη Μικρά Ασία. Η νεώτερη ιστορία του Κάστρου είναι άρρηκτα συνδεδεμένη με το Λογοθέτη Λυκούργο, αρχηγό της φιλελεύθερης παράταξης των «Καρμανιόλων», μέλος της Φιλικής Εταιρείας και ηγετική φυσιογνωμία της ελληνικής επανάστασης. Αυτός ανέλαβε να οχυρώσει ξανά το λόφο του Κάστρου, προσπάθεια που ξεκίνησε το 1824 και ολοκληρώθηκε το 1827 με τη συνδρομή όλων των Σαμίων. Ένας από τους προϋπάρχοντες πύργους της βυζαντινής οχύρωσης επισκευάστηκε και χρησιμοποιήθηκε ως διοικητήριο και κατοικία του ιδίου και της οικογένειάς του. Πρόκειται για πύργο με υπερυψωμένο ισόγειο και δύο ορόφους, επάλξεις στο δώμα του, χωρίς παράθυρα στο ισόγειο για αμυντικούς λόγους, είσοδο και καταχύστρα πάνω από αυτήν στην πρόσοψη. Ο Πύργος αναστηλώθηκε τα τελευταία χρόνια και λειτουργεί πλέον ως επισκέψιμο μνημείο και αρχαιολογικό μουσείο. Δίπλα στον Πύργο, στο ψηλότερο σημείο του λόφου, οικοδομήθηκε με πρωτοβουλία του ιδίου ο ιστορικός ναός της Μεταμόρφωσης του Σωτήρος (1831 ή 1833), σε ανάμνηση της σωτήριας για το νησί νίκης των Σαμίων εναντίον του τουρκικού στόλου σε ναυμαχία που έλαβε χώρα στα στενά της Μυκάλης την 5η Αυγούστου 1824. Ο Λογοθέτης Λυκούργους έζησε στον Πύργο ως Διοικητής του νησιού μέχρι το 1834, όταν εξορίστηκε μαζί με άλλους επαναστάτες λόγω της αποτυχίας ένταξης της Σάμου στο νεοσύστατο ελληνικό κράτος και την υπαγωγή της στο καθεστώς της Ηγεμονίας. Στη συνέχεια το Κάστρο καταλήφθηκε από τουρκική φρουρά και οι αρχαιότητες που διατηρούνταν στο εσωτερικό του λεηλατήθηκαν. Το 1840 το Κάστρο ήταν πια εγκαταλελειμμένο και το 1863 πωλήθηκε στο Σαμιακό Δημόσιο από το γιο του Λυκούργου Λογοθέτη, Αλέξανδρο.