Na długo przed 1867 rokiem, zanim została postawiona ta stara kapliczka, według dawnych przekazów tutejszej ludności w tym lasku, na wodzie małego pulsującego źródełka, zjawiła się Matka Boża. Odtąd ta woda uświęcona Jej obecnością, nabrała cudownych leczniczych właściwości na różne niedomagania, a w szczególnie na choroby oczu i do tego źródła od niepamiętnych czasów przychodzili ludzie po zdrowie.
W tamtych odległych czasach nie umiano zapisać kiedy na tym miejscu ukazała się Matka Najświętsza i nie wiadomo, ile to lat przed tym, wielką czcią otaczano to miejsce, przez miejscową ludność nazywane Zjawieniem.
Ponad sto lat temu, Wawrzyniec Góra młynarz z dalekiej Radecznicy koło Zamościa, miał senne widzenie, w którym Matka Boża poleciła mu, ażeby zbudował Jej kapliczkę obok cudownego źródełka w pobliżu miasteczka nad dużą rzeką. Młynarz bez żadnych informacji przywędrował na tereny ziemi krzeszowskiej i tu dowiedział się od miejscowej ludności, że za Dolnym Krzeszowem jest takie źródełko.
Powróciwszy do Radecznicy natychmiast zaczął przygotowywać materiał pod budowę. W lipcu 1867 roku, na solidnym wozie przywieziono na Komanową Górę już gotowe drewno i ciężki kamień młyński na którym postanowiono kapliczkę.
Odpust na Matkę Bożą Bolesną
Ponieważ na Komanową Górę od dawna pielgrzymują pątnicy szukający pomocy i opieki Matki Bożej, mieszkańcy Krzeszowa Dolnego postanowili w latach 90. wybudować obok starej kapliczki trochę większą, murowaną świątynię. Pomysł szybko zrealizowano, a wiele prac przy budowie wykonano społecznie. Za patronkę świątyni obrano Matkę Boską Bolesną. Uroczystość poświęcenia odbyła się 10 września 2000 roku. Dokonał tego dziekan dekanatu biłgorajskiego ks. kan. Jan Maksim w asyście duchowieństwa i licznie zgromadzonych wiernych. Od tego czasu, co rok, od maja do października, w każdą 3. niedzielę miesiąca o godzinie 16.00 odprawiana jest tam msza św. Ponadto 15 września, w liturgiczne święto Matki Boskiej Bolesnej, jest też nabożeństwo odpustowe.