Die Burg der Altstadt von Symi (Chorio) war schon in prähistorischer Zeit bewohnt, wie die in der Gegend gefundenen Keramikfunde belegen. Diese natürliche Festung war von einer Mauer umgeben, deren frühester Bau auf die klassische Zeit zurückgeht, die aber mehrmals restauriert wurde und bis in die nachbyzantinische Zeit hinein in Gebrauch gewesen zu sein scheint. Auch die Ritter von St. Johannes auf Rhodos führten Ergänzungen und Rekonstruktionen durch, wie das Emblem des Großmagistrats Emery d’Amboise am Südeingang und die Wappen der Großmagistrate de Milly und Zacosta an der Fassade der Kirche von Megali Panagia zeigen. In der Umgebung der Burg befinden sich neben der Kirche von Megali Panagia auch andere Kirchen, wie die Kirche von Panagia Portiani, Panagia Kyra und eine weitere, die dem Gedenken an den Erzengel Michael Tharrinos gewidmet ist. Um die Burg herum entwickelte sich die Siedlung, deren Ruinen noch heute erhalten sind.
Im Innenhof der Burg befindet sich die Kirche von Megali Panagia, in der die Archive und Wertgegenstände der Klöster aufbewahrt wurden, sowie die offiziellen Aufzeichnungen über die Privilegien, die der Sultan der Insel gewährte. An der Fassade der Kirche befinden sich die Wappen der Großmagistrate de Milly und Zacosta als dekorative Elemente. Während des Zweiten Weltkriegs wurde die Kirche von Megali Panagia zusammen mit einem großen Teil der Burg von den Deutschen gesprengt. Aus diesem Grund wurde die benachbarte Kirche von Agios Georgios renoviert und erhielt ihren Namen.
