Το κάστρο, το οποίο έχει χαρακτηριστεί ως ιστορικό διατηρητέο μνημείο, χτίστηκε το 1872 από τον Ρεούφ Πασά, στην ίδια θέση που το 1646 οι πρώτοι Τούρκοι διώχνοντας τους Ενετούς έχτισαν Πύργο. Αποτελούσε το κυριότερο αμυντικό έργο του λιμανιού και ονομάστηκε έτσι προς τιμή του πρωτότοκου γιου του Σουλτάνου Αβδούλ Αζιζ Ιτζεδίν.
Το μεσαιωνικό κάστρο Ιντζεδίν, χρησιμοποιήθηκε ως φυλακή πολιτικών κρατουμένων μεταξύ των οποίων και ο Ελευθέριος Βενιζέλος στην αρχή της πολιτικής του σταδιοδρομίας.
Κατά τη δικτατορία του Πάγκαλου κρατήθηκε στις φυλακές μεγάλος αριθμός πολιτικών αντιφρονούντων, ενώ μετά τη πτώση της
Μεσαιωνικό κάστρο Ιντζεδίν δικτατορίας φυλακίστηκε και ο ίδιος ο Πάγκαλος.
Ο χώρος των φυλακών χρησιμοποιήθηκε σαν αρχή για βαρυποινίτες του κοινού ποινικού δικαίου. Οι επισκέπτες του κτιριακού συγκροτήματος μπορούν να γίνουν μάρτυρες των βασανιστηρίων που έζησαν οι κρατούμενοι, μέσα από τις εικόνες των μικροσκοπικών κελιών, τους χώρους απομόνωσης, και τα σίδερα στα παράθυρα.
Σύμφωνα με μαρτυρίες, σε πολλούς τιμωρημένους κρατούμενους έδεναν το ένα πόδι με χοντρή αλυσίδα που στην άκρη ήταν δεμένο ένα σιδερένιο βόλι το οποίο δεν τους επέτρεπε να κινούνται ελεύθερα ώστε να δραπετεύσουν.
¨Οψη κάστρου Ιντζεδίν Αυτό βέβαια ήταν πράγμα αδύνατο, εφόσον οι φρουροί φύλαγαν στον προαύλιο χώρο σκοπιές, που σώζονται ακόμα και σήμερα. Από το κολαστήριο της Γυάρου μεταφέρθηκαν το 1948 οι πρώτοι κομμουνιστές πολιτικοί κρατούμενοι. Το πέρασμα του χρόνου έχει αφήσει ανεξίτηλα τα σημάδια του.