Poutní dům stojí po boku poutního areálu na Hoře Matky Boží od poloviny 19. století. V roce 1901 jej od soukromého vlastníka koupili redemptoristé a dům sloužil nejen jako ubytovací kapacita pro poutníky, ale také jako kulturní centrum, kde se hrála divadla. Rovněž tento dům sloužil jako místo, kde se konala duchovní cvičení a to až do roku 1945. Za doby komunismu sloužil Poutní dům jako ubytovna pro vězněné řeholníky, později jej používaly a zdevastovaly státní statky. V letech 1990 – 1993 byl dům zrekonstruován za pomoci finančních prostředků redemptoristů a darů krajanů získaných prostřednictvím Franze Jentschkeho z Brém.

Od roku 2017 je Poutní dům ve vlastnictví královéhradeckého biskupství. V roce 2018 byl vypracován projekt generální opravy a vydáno stavební povolení. Na jaře 2019 již byla zastřešena terasa u restaurace, v listopadu 2019 začíná generální oprava celého domu. Proto je Poutní dům od listopadu 2019 uzavřen, na otevření obnovené restaurace se budeme těšit v květnu 2020, celá rekonstrukce by měla být dokončena v závěru roku 2020.