Swarzewska kapliczka została zbudowana przez kaszubskich rybaków w 1775 roku. Istnieje wiele wersji jej genezy. Legenda mówi o objawieniu się figurki właśnie w miejscu późniejszej budowli, inne źródła wspominają o pochodzeniu figurki z rozbitego żaglowca. Wewnątrz kapliczki znajduje się cudowna studzienko oraz tablica opisująca historię miejsca. Początkowa figura Matki Boskiej stała właśnie przy studzience. Potem ze względu na brak kościoła w Swarzewie, przeniesiono ją do kościoła w Helu. Pod koniec XVI wieku protestanci usunęli ją ze świątyni i wrzucili do zatoki. Fale przyniosły ją ponoć do Swarzewa, po czym umieszczono ją w drewnianym kościółku, znajdującym się w tym samym miejscu, co obecny kościół pod wezwaniem Narodzenia Najświętszej Maryi Panny. Figurka znajduje się obecnie w kościele, zaś jej kopia w kapliczce. 

Obecnie „studzienka” otoczona jest szczególną czcią wiernych, którzy wierzą w lecznicze właściwości pochodzącej z niej wody. Wszyscy pielgrzymi, którzy przybywają do Swarzewa z okazji słynnych odpustów, kierują się do kapliczki. 

Historia Matki Boskiej Swarzewskiej opisana została wierszem.
Krótkie opisanie zjawienia się cudownego obrazu Najświętszej Maryi Panny Swarzewskiey, nazwanego z xiąg kościoła swarzewskiego wyięta y z tradycyi podane, wierszem polskim wyłożone. Roku Pańskiego 1775.

„Nad studnią się obraz Maryi objawił,
Który się licznymi cudami rozsławił,
W jasności na powietrzu tu stał nie bez cudu,
Z tąd przeniesień do Hela z procesyą ludu,
Gdzie przed miastem w kościółku skoro jest złożony,
Wnet na morzu y lądzie cudami wsławiony,
Świadectwo w tym żeglarze ratowani dali,
Tu w Swarzewie kaplicę gdy wymurowali.
Nie mogąc znieść czart tego, że przez czasów wiele
Lud się do nóg Maryi z nabożeństwem ściele.
Wzburzył, że odczepieńcy kościół spustoszyli
w Helu oraz obraz z niego wyrzucili.
Alić Maryi obraz w tym, jak się to dzieje,
Nad studnią z powrotem w promieniach jaśnieje.
Co postrzegłszy Swarzewo o przybyciu głosi,
Potem z tąd do kaplicy na ołtarz przenosi.
Tam nabożnie Maryą w Jej obrazie wita,
Za co od Niej zapłata na wszystkich obfita.
Bo kto przy tym obrazie z Maryi przyczyny
Zliczy łaski co świadczy Bóg w Trójcy jedyny?
O jak wiele szczęśliwie burzące się wody
Morskie przebiegli w brzegi bez naymniejszej szkody
O ślepych, niemych, chromych, leżących w chorobie,
Co mówić? Lub też w inszey będących złej dobie,
Bez liczby o przyczynę Maryę tu proszą
A wnet wzrok, mowę, zdrowie, pociechę odnoszą.
Tak więc różne dowody Tej Matki ratunku,
Niech nam będą nadzieją w największym frasunku,
Że służyć Jey powiliśmy przy teyże obronie
Na tym miejscu pociechy w życiu y przy zgonie.
Cieszcie się, mówię, wszyscy, którzy to słyszycie,
Bo dziś dzień ten sam obraz w ołtarzu widzicie.
Wszak dlatego piastuje Jezusa Dziecinę,
Pokazując, że dzieci wnet zapomną winę.
Pod Twe więc, Jezu, nogi nachylamy szyi
Prosząc: racz nas wysłuchać dla prośby Maryi.
Ty zaś Matko w tej naprzód przybądź nam potrzebie,
Byśmy zawsze kochali Syna y z Nim Ciebie. Amen".