Po dokončení kostela se začal budovat klášter. Po jeho dostavbě povolal biskup Becker řád servitů – Služebníků Panny Marie, kteří sem přišli roku 1710 konat svoji službu. Během 18. století stále rostl počet poutníků, roku 1728 jich přišlo kolem 152 tisíc.
Za vlády císaře Josefa II. bylo rušeno mnoho poutních míst a klášterů a zakazovány poutě, jelikož odvádějí lid od práce. Pdle legendy zachránily klášter humor a inteligence jednoho z řeholníků, který na otázku kde je střed světa odpověděl, že tam, kde je Jeho Císařská Milost.
Hrozné chvíle přišly o několik desetiletí později, kdy jedné srpnové noci roku 1846 přišla bouřka a blesk udeřil do kostela, který shořel zároveň s klášterem. Vše, co se tehdy zachránilo, bylo přeneseno do ambitů, kde tak můžeme dodnes obdivovat sbírku barokních maleb a řezeb. Během jednoho roku byl kostel znovu otevřen, na obnovu vnitřní výzdoby ale musel čekat další půl století. Teprve před koncem 19. století byl kostel vyzdoben v novorenesančním stylu. V té době již klášter spravovali redemptoristé, kteří zde vystřídali servity roku 1883. Roku 1901 koupili Poutní dům, který obnovili a rozšířili. Poutě byly neoddělitelnou součástí života města Králíky a jeho okolí až do roku 1950, přičemž několik let před tím byly Králíky poznamenány světovou válkou.
V dubnu uzavřela komunistická vláda poutní areál pro veřejnost a na poutním místě internovala vězně, mezi nimiž byli především redemptoristé, ale také jezuité a salesiáni. Pracovali zde a žili v nelidských podmínkách až do roku 1960, někteří zde byli až do roku 1965. Tehdy klášter převzala Česká katolická charita. Do kláštera přišly sestry Neposkvrněného Početí Panny Marie, které zde zůstaly až do roku 2002. Areál byl otevřen pro veřejnost roku 1968.
Od roku 1990 spravovali poutní místo znovu redemtoristé a roku 1993 byl znovu otevřen i Poutní dům. V letech 2002–2007 zde bylo i sídlo skupiny redemptoristů, která pořádala lidové misie.
Od poloviny roku 2009 zajišťoval duchovní správu diecézní kněz, nějakou dobu sem redemptoristé jen dojížděli. Od Velikonoc 2012 do léta 2013 zde pravidelné nedělní mše svaté nebyly slaveny.
V létě 2013 předali redemptoristé kostel a areál kláštera královéhradecké diecézi, vlastníkem je nyní Duchovní správa poutního kostela v Králíkách II. Od srpna 2013 jmenoval královéhradecký biskup nového rektora kostela. Nyní je klášter i toto poutní místo zatím bez stálé přítomnosti řeholníků.