Doba rozkvětu a pozdější pád
Kostel na Zelené hoře se stal jedním z nejnavštěvovanějších poutních míst a jeho areál místem pro uskutečnění mnohých velkolepých barokních slavností. Tato situace však netrvala dlouho. Zcela zásadní převrat do života kláštera i poutního kostela vnesl požár 16. července 1784, který kostel i ambit připravil o střechu. Po požáru následovala naprosto nelogická žádost tehdejšího opata Otto Steinbacha z Kranichštejna o zrušení kláštera, kterou zaslal panovníkovi. Panovník Josef II. žádosti vyhověl ještě v říjnu téhož roku, ačkoliv původně zamýšlel zde ponechat útulek pro provinilé a církevními úřady odsouzené kněze. Ihned po požáru byla sice uspořádána sbírka, která měla umožnit opravit na kostele a ambitu napáchané škody, ale jediné, co se podařilo, bylo střechu provizorně zakrýt. Zbytek nepoužitých prostředků byl vrácen zpět dárcům. Když byl klášter zrušen a kostel byl určen k uzavření, byl zhotoven soupis kostelního inventáře a drahocennosti byly ihned odvezeny. V roce 1785 bylo povoleno sloužit mši na svátek sv. Jana Nepomuckého. I nadále však bylo počítáno s odvozem vybavení, k čemuž posléze částečně došlo. Varhany byly převezeny a nainstalovány v kostele sv. Václava v Radešínské Svratce, kazatelna do kostela P. Marie v Obyčtově a lavice do kostela sv. Martina v Jamách.