Zanim nad Wigry przybyli kameduli, ziemie te znajdowały się we władaniu Jaćwingów, o czym do dziś świadczą, rozrzucone wokół Suwałk, liczne stanowiska archeologiczne i pozostałości osad obronnych. W końcu XIII wieku ulegli oni Krzyżakom. Tereny te pokrywały niedostępne puszcze, znakomicie nadające się do polowań. Jan Długosz – kronikarz, wspomniał o pobycie na wyspie Wigry w 1418 roku króla Władysława Jagiełły, który bawił tu na łowach. Wtedy też zapadła decyzja o ulokowaniu na wyspie dworu myśliwskiego, w którym bywali polscy królowie i litewscy książęta.

6 stycznia 1667 r. król Jan Kazimierz przekazał zakonnikom eremickiej reguły – kamedułom rozległe dobra, w tym wigierski ostrów oraz część Puszczy Przełomskiej i Perstuńskiej wraz z osadami i wsiami. Poprzez fundację klasztoru na Wigrach król chciał, by kameduli w wigierskich ostępach modlitwą i pracą (ora et labora) przyczynili się do odwrócenia od Rzeczpospolitej licznych nieszczęść i wojen. Zakonnicy przybyli tu w 1668 roku. Zamieszkali na wyspie Wigry, gdzie w latach 1694-1745, w miejscu królewskiego dworu myśliwskiego, wzniesiony został imponujący klasztor i kościół p.w. Niepokalanego Poczęcia Najświętszej Marii Panny.

Nowi właściciele niemal natychmiast rozpoczęli systematyczną eksploatację puszczańskich bogactw. Zdecydowali się podwyższyć pagórek i wzmocnić go masywnymi murami oporowymi, usypali groblę wiodącą na wyspę, zbudowali browar i gorzelnię, młyny i smolarnie, sprowadzali osadników i zakładali nowe wsie, w tym Suwałki.
Dla potrzeb wiernych zostały zbudowane dwa drewniane kościoły. Pierwszy w 1680 roku w pobliskiej wsi Magdalenowo (na terenie obecnego cmentarza) a kolejny w 1710 w Suwałkach pod wezwaniem Świętego Krzyża. Budowa świątyń w niewielkiej od siebie odległości wynikała z reguły kamedulskiej. Kościół klasztorny był przeznaczony jedynie dla zakonników. We mszy świętej mogli uczestniczyć bracia służebni pracujący na rzecz zakonników oraz dobrodzieje zakonu, dożywający swoich dni w murach klasztoru.

Po trzecim rozbiorze Rzeczypospolitej rząd pruski skonfiskował w 1796 roku dobra kamedulskie. Zakonnikom pozostawiono jedynie tereny Półwyspu Wigierskiego. W roku 1800 nastąpiła kasata klasztoru, a zakonników przeniesiono do warszawskich Bielan. Klasztor z kościołem został ustanowiony siedzibą nowego biskupstwa wigierskiego. Rolę pałacu biskupiego pełnił budynek w południowo-zachodnim narożu zespołu, określany obecnie jako Dom Królewski. W pomieszczeniach foresterii (budynku dla gości przebywających w klasztorze), obecnie zwanych Kaplicą Kanclerską, ulokowano szpital oraz mieszkanie dla proboszcza. W czasach biskupstwa przebudowano Dom Królewski oraz prawdopodobnie zbudowano tak zwany Dom Furtiana, znajdujący się przy głównym wjeździe do klasztoru.

W 1823 r. biskupstwo zostało przeniesione do Sejn, a w Wigrach ustanowiono parafię. W kolejnych latach stopniowo postępuje dewastacja klasztoru. W tym samym czasie rozebrana została Kaplica Kanclerska. Granitowe, ciosane schody oraz dwie figury świętych – Benedykta i Romualda trafiły przed fasadę budowanego wówczas w Suwałkach kościoła pod wezwaniem świętego Aleksandra. Rozbierano budynki poklasztorne, a pozyskane materiały budowlane sprzedawano.
Na początku XX wieku przeprowadzono remont kościoła i dawnego refektarza, jednak w roku 1915 kościół, Dom Furtiana oraz refektarz zostały poważnie uszkodzone w wyniku ostrzału artyleryjskiego. Po odzyskaniu przez Polskę niepodległości w 1922 przystąpiono do odbudowy kościoła, refektarza i jednego eremu, według projektów wybitnego architekta Oskara Sosnowskiego. Prace zakończono w 1933.

W 1944 roku odbudowany zespół został powtórnie zniszczony w wyniku ostrzału artyleryjskiego. Po przejściu frontu, w pierwszej fazie, zabezpieczono kościół i plebanię. Od roku 1947 przystąpiono do regularnej odbudowy kościoła. Prace budowlane trwały do końca lat 50., jednak prace w jego wnętrzu przeciągnęły się do początku lat 80. i praktycznie nie zostały zakończone.

W latach 60. peerelowskie władze podjęły decyzję o odbudowie zespołu klasztornego. W 1973 roku zawarta została umowa pomiędzy Ministerstwem Kultury a władzami kościelnymi. Zgodnie z tą umową ministerstwo wydzierżawiło wzgórze wigierskie na lat 50, czyli do 2023 r. i urządziło tu Dom Pracy Twórczej.

Od początku lat 90. rozpoczęto intensywne prace remontowe, których celem było usunięcie błędów popełnionych w czasie odbudowy. Obecnie można podziwiać obiekt w niemal pełnej krasie. Szereg elementów zespołu wymaga ciągłych prac remontowych; są to przede wszystkim mury oporowe. Zespół poklasztorny stanowi jedną z największych atrakcji turystycznych północno-wschodniej Polski. Sylweta zespołu jest czytelnym znakiem kojarzonym z Wigrami i Suwalszczyzną.