Muito antes de os Jesuítas terem começado a construir neste local um santuário à Senhora da Lapa já o povo ali fazia romarias. E antes ainda da edificação da primeira ermida dedicada à Senhora da Lapa já o conjunto de penedos em torno do qual foi construída a igreja jesuíta era um local sagrado. Mas foi só a partir de inícios séc.XVI, que neste território deserto e inóspito, nasceu a povoação da Lapa. Depois, com os jesuítas, as fragas do próprio terreno foram usadas para edificar sólidos edifícios e, durante dois séculos, o santuário e todos os que decidiram seguir os jesuítas e morar ali foram bafejados pela prosperidade e pela fama. O Santuário de Nossa Senhora da Lapa foi, com Santiago de Compostela, um dos mais importantes locais de culto mariano da Península Ibérica.