Allerdings verschlechterte sich später die finanzielle Lage, da sich die Mönche zunehmend weniger um ihre geistlichen Pflichten als um ihren eigenen Lebensstil kümmerten: Es liegen Testamente vor, obwohl die Brüder laut Ordensregel keinen persönlichen Besitz haben durften. Beim Eintritt ins Kloster wurde nicht mehr das Armutsgelübde abgelegt, sondern lediglich eine Einverständniserklärung über die Aufteilung der Güter zwischen Abt und Konvent abgegeben. Von ausschweifendem oder unsittlichem Verhalten liegen jedoch keine Belege vor.
Stürmische Zeiten erschwerten dem Kloster ab dem 15. Jahrhundert das Fortbestehen: Im Jahr 1507 lebten nur noch sieben Mönche im Kloster Grafschaft. Eine Reform erfolgte 1508 mit dem Beitritt zur Bursfelder Kongregation, einem Zusammenschluss von Reformklöstern. Liturgie, wissenschaftliches Studium und strenge monastische Lebensregeln rückten dabei in den Mittelpunkt. Im 17. Jahrhundert gehörte der Grafschafter Abt Emericus Quinken zur Führung der Bursfelder Kongregation.
Im Jahr 1612 leitete Abt Gabel Schaffen, ein herausragender Klosterverwalter, eine umfassende Umschuldungsaktion ein. Er achtete streng auf die Einhaltung der Klosterregeln – was nicht nur Zustimmung fand: Ein Giftanschlag gegen ihn konnte rechtzeitig entdeckt und verhindert werden. Die drei beteiligten Mönche wurden zu lebenslangem Arrest in anderen Klöstern verurteilt. In dieser Zeit wurden neue Wirtschaftsgebäude errichtet, ein Krankenhaus eingerichtet und ein eigenes Bibliotheksgebäude erbaut.
1729 begann der Bau des neuen, heute noch vorhandenen Klosters.
Mit dem Übergang des Herzogtums Westfalen an Hessen-Darmstadt begann das Ende des Klosters Grafschaft: 1804 mussten die letzten 32 Mönche das Kloster verlassen – wobei erwähnt werden muss, dass sie eine staatliche Pension erhielten.
Wer mehr über das Kloster und seine heutigen Bewohnerinnen erfahren möchte, dem sei ein Besuch im Klostermuseum der Borromäerinnen empfohlen.
Auch andere Klöster im Sauerland haben eine bewegte Vergangenheit. Hier zwei Beispiele: