Le château du village de Symi est déjà habité depuis des années préhistoriques, comme en témoignent les poteries trouvées dans la région. Cette forteresse naturelle était entourée d’un mur dont la première phase remonte à l’époque classique, mais elle a été plusieurs fois réparé et avoir été utilisé jusqu’à la période post-byzantine. Des ajouts et reconstructions ont également été effectués par les Chevaliers de Saint-Jean de Rhodes, comme en témoignent l’emblème du Grand Maître Emery d’Amboise qui est encastré à l’entrée sud, ainsi que par les blasons des Grands Maîtres de Milly et Zacosta trouvés sur la façade de l’église de Panagia. Dans l’enceinte du château, à part l’église de Megali Panagia, il y ont d’autres églises, telles que Panagia Portiani, Panagia Kyra et une autre temple dédié à la mémoire du Archange Michael de Tharri. Le village se développe autour du Château, dont les vestiges sont conservés à ce jour.
Dans une enceinte à l’intérieur du château se trouve l’église de la Megali Panagia, dans laquelle étaient conservés les archives et les objets de valeur des monastères, ainsi que les décrets (firmans) des privilèges accordés par le sultan sur l’île. Sur la façade de l’église on trouve les blasons des Grands Maîtres de Milly et Zacosta comme éléments décoratifs. Pendant la Seconde Guerre mondiale, l’église de Megali Panagia fut détruite par les Allemands ainsi qu’une assez grande partie du Château. Pour cette raison, l’église d’Agios Georgios fut restaurée et a été renommée.
