Η Παναγία η Σπηλιανή ή Καληαρμένισσα, όπως λέγεται από τους ντόπιους είναι μια γραφικότατη Μονή, χτισμένη σε σπηλιά κοντά στο Πυθαγόρειο.
Ο νεοπλατωνικός φιλόσοφος Πορφύριος ανέφερε ότι η σπηλιά ήταν το μέρος όπου ο Πυθαγόρας διατηρούσε τη σχολή του.
Στη Μονή, ο επισκέπτης μπορεί να προσκυνήσει τη θαυματουργή εικόνα της Παναγίας, η οποία είναι σπασμένη σε πέντε κομμάτια και χωρίς χρώματα. Η παράδοση λέει ότι όταν κάποιοι ξένοι έφτασαν στο νησί και θέλησαν να πάρουν την εικόνα, η Παναγία δεν θέλησε να εγκαταλείψει το νησί και πέφτοντας στη θάλασσα, η εικόνα έσπασε σε πέντε κομμάτια.
Τα πέντε αυτά κομμάτια επέπλευσαν στο νησί και τα περιμάζεψαν οι ντόπιοι. Οι εξώστες της Μονής επιφυλάσσουν στον επισκέπτη μια πανοραμική θέα του νησιού, μέχρι και τα παράλια της Μικράς Ασίας.