Eine erste kleine Kirche, vermutlich kaum größer als eine Kapelle, errichteten die Glandorfer zwischen dem 11. und 13. Jahrhundert an genau der Stelle, an der auch heute die Pfarrkirche steht.  
An einem der höchstgelegensten Punkte Glandorfs wurde St. Johannis im Jahr 1270 erbaut. Noch aus dieser Zeit stammt der untere Teil des Kirchturms. Ab dem 14. Jahrhundert war die Kirche von einer Kirchburg und einer hohen Mauer umgeben, innerhalb derer sich die Kornspeicher der Bauern befanden. Sie dienten am Sonntag als Unterstellmöglichkeiten für Pferde, da die Gläubigen aus den Bauernschaften mit Kutschwagen zur Kirche kamen. Später wurden diese zu Wohnhäusern umgebaut.