Το Κάστρο του οικισμού της Σύμης κατοικήθηκε ήδη από τα προϊστορικά χρόνια, όπως αποδεικνύεται από την κεραμική που έχει βρεθεί στον χώρο. Το φυσικό αυτό οχυρό περικλείστηκε με τείχος, του οποίου η πρωιμότερη φάση χρονολογείται στους κλασικούς χρόνους, αλλά μετασκευάστηκε αρκετές φορές και φαίνεται ότι ήταν σε χρήση ως τον 18ο αιώνα. Συμπληρώσεις και ανακατασκευές πραγματοποίησαν και οι Ιππότες του Αγίου Ιωάννη, όπως αποδεικνύει το έμβλημα του μεγάλου μαγίστρου Emery d’ Amboise που είναι εντειχισμένο στη νότια είσοδο, καθώς και από τα οικόσημα των μεγάλων μαγίστρων Jacques de Milly και Pere Ramon Zacosta στη νότια όψη της εκκλησίας της Μεγάλης Παναγίας.
Στην εκκλησία της Μεγάλης Παναγίας φυλάσσονταν τα αρχεία και τα τιμαλφή των μοναστηριών, καθώς και τα φιρμάνια των προνομίων που παραχώρησε ο Σουλτάνος στο νησί. Κατά τη διάρκεια του Β΄ Παγκοσμίου Πολέμου, η εκκλησία ανατινάχθηκε μαζί με ένα αρκετά μεγάλο τμήμα του Κάστρου. Για τον λόγο αυτό, ανακαινίσθηκε η γειτονική εκκλησία του Αγίου Γεωργίου και πήρε το όνομά της. Στον περίβολο του Κάστρου, εκτός από τη σημερινή εκκλησία της Μεγάλης Παναγίας, υπάρχουν και άλλοι ναοί, όπως της Παναγίας της Πορτιανής, της Παναγίας Κυράς και ακόμη ένας αφιερωμένος στoν Ταξιάρχη Μιχαήλ τον Θαρρινό. Γύρω από το Κάστρο αναπτυσσόταν οικισμός, λείψανα του οποίου σώζονται μέχρι και σήμερα.
