Il Castello dell’insediamento di Symi è stato abitato fin dalla preistoria, come testimoniano le ceramiche rinvenute nella zona. Questa fortezza naturale era racchiusa da una cinta muraria, la cui prima fase risale all’epoca classica, ma che è stata più volte riparata nel tempo e sembra che sia stato utilizzata fino al periodo post-bizantino. I Cavalieri di San Giovanni di Rodi, come testimonia lo stemma del Gran Maestro Emery d’Amboise, murato all’ingresso sud, e gli stemmi dei Gran Maestri de Milly e Zacosta sulla facciata della chiesa di Megali Panagia, hanno anche loro eseguito lavori di addizioni e ricostruzioni. Nel recinto del Castello, oltre alla chiesa di Megali Panagia, vi sono ancora delle chiese, come Panagia Portiani, Panagia Kyra e un’altra ancora, dedicata alla memoria dell’Arcangelo Michele di Tharri. Intorno al castello si trovano i resti dell’insediamento.
In un recinto all’interno del Castello si trova la chiesa della Grande Vergine (Megali Panagia), dove sono custoditi gli archivi e gli oggetti di pregio dei monasteri, nonché i firmani (ordini) dei privilegi concessi dal Sultano all’isola. Sulla facciata della chiesa, come elementi decorativi, sono presenti gli stemmi dei Gran Maestri de Milly e Zacosta. Durante la seconda guerra mondiale, la chiesa della Madonnina fu fatta saltare dai tedeschi insieme a una parte abbastanza ampia del Castello. Per questo motivo la vicina chiesa di Agios Georgios è stata ristrutturata e preso il suo nome attuale.
