Η Κασταμονίτσα είναι 6 χλμ από το Καστέλι, έχει 356 κατοίκους και βρίσκεται στο 520 m πάνω από την επιφάνεια της θάλασσας, στους πρόποδες του βουνού Αφέντι (1578 m), με φόντο το βουνό της Δίκτης. Το χωριό είναι το σημείο εκκίνησης για αυτή τη σύντομη διαδρομή Ε4, που καταλήγει στο Κάτω Μετόχι.

Το χωριό δεν αναφέρεται στα ενετικά κατάστιχα του 16ου και 17ου αιώνα, ούτε στην τουρκική απογραφή του 1671. Είναι πιθανό το όνομα να σχετίζεται με αυτό του Κασταμονίου της Μικράς Ασίας: Πρόσφυγες, εκδιωγμένοι από τη γη τους από τους Τούρκους, μπορεί κάλλιστα να έχει έρθει και εγκατασταθεί εδώ, δίνοντας στο νέο τους σπίτι το ίδιο όνομα με το παλιό τους.

Η εκκλησία της Παναγίας (Παναγίας) στην Κασταμονίτσα βρίσκεται μέσα στο νεκροταφείο του χωριού και είναι αφιερωμένη στην Κοίμηση της Θεοτόκου (γιορτή 15 Αύγουστος). Ο λαογράφος Γεώργιος Σταματάκης θεωρεί ότι πιθανότατα ήταν καθολικό μοναστήρι, αφού δεν καταγράφεται σε καμία απογραφή ναών κατά την Ενετοκρατία (Τα μοναστήρια δεν ήταν καταχωρημένα). Διαθέτει εξωτερικές διακοσμητικές σανίδες (χρωματιστές στρογγυλές γλάστρες που ονομάζονται πινάκια) και ένα περίτεχνο καμπαναριό, ενώ βλέπουμε αρκετά αρχιτεκτονικά μέλη από την αρχαία πόλη Λύττος.

Στο εσωτερικό του ναού υπάρχουν τοιχογραφίες σε κακή κατάσταση που χρονολογούνται από τον 14ο αιώνα και ξυλόγλυπτο τέμπλο από τα μέσα του 19ου αιώνα από τους αδελφούς Μακράκη από το Μέσα Λασίθι. Οι τοιχογραφίες του 14ου αιώνα χτυπήθηκαν για καλύτερη πρόσφυση στο γύψο, έτσι καταστράφηκε.