Quando gli apostoli dovettero lasciare Gerusalemme, san Giovanni con Maria Vergine, che gli era stata affidata da Gesù, venne ad Efeso. Ucciso San Paolo, san Giovanni diventò capo della Chiesa di Efeso e fece opera di propaganda della fede in tutta la regione. Alla sua morte fu sepolto alle falde dell'altura della rocca di Selgiuq e sulla sua tomba fu eretta una basilica che, durante l'impero di Giustiniano, venne trasferita nel luogo dove ora si trovano i resti della chiesa di san Giovanni.
A partire dal VII secolo a causa delle frequenti aggressioni degli Arabi attorno alla chiesa vennero erette delle mura sicché la chiesa fece parte della rocca. Nel XIV secolo la basilica era adibita a moschea, nel 1375 fra la basilica e il tempio di Artemide fu costruita una nuova moschea, la chiesa perse le sue funzioni di culto musulmano e fu completamente trascurata andando in rovina. Gli scavi hanno messo in luce i resti che rivelano che la chiesa aveva la pianta a croce, era sormontata da volte a botte, era preceduto da un atrio costruito a terrazze a causa della pendenza del terreno, aveva due cupole sulla volta centrale, due sui bracci laterali e due al centro.