Nach dem Studium absolvierte er ein Probejahr als Lehrer in Arnsberg. Dort lernte er Emilie Düser kennen, die 14-jährige Tochter eines Druckereibesitzers. Die Briefe, die er in dieser Zeit an sie schrieb, gehören zu seinen schönsten lyrischen Werken. Grimme ging die Beziehung sehr behutsam an. Im Gedicht Der erste Schnee ist das gut herauszuhören:
„Ich will zurücke stehn von meinem Fenster, liebliches Kind!
Wenn du gegenüber erscheinst an deinem Fenster
und auf die Straße blickst, gedankenmüßig.
Oder mit dem Finger in die Scheiben Blumen schreibst –
Namen noch nicht.
Ich will zurücke stehn und deinen Frieden nicht stören.“
Mit seiner zurückhaltenden Art hatte er Erfolg. Später schrieb er:
„Es ist nicht für die Basen. Es ist nicht für die Mütter. Was Neues sich begeben hat an einem Brückengitter. […] Doch wer mit mir beisammen war, weiß auf der Welt nur Eine. Und niemand hat’s vernommen, als nur der Sternenreigen und Sankt Johann von Nepomuk – und der versteht zu schweigen.“
Als die beiden sich verlobten, war Emilie 15 Jahre alt. Die Heirat fand fünf Jahre später statt. Ihre Liebe trug Früchte – in Form von insgesamt elf Kindern.
Grimme arbeitete in Arnsberg, Brilon und Paderborn, zuletzt als Schulleiter des Theodorianum-Gymnasiums. Später war er Direktor des Gymnasiums in Heiligenstadt/Thüringen. Er war ein ausgezeichneter Pädagoge, dem es nicht nur um die Vermittlung von Wissen ging, sondern auch um die Bildung des Charakters. Viele seiner ehemaligen Schüler bestätigten, dass er „mit unendlichem Pläsier“ unterrichtete.
Als er mit 57 Jahren emeritiert wurde, zog die Familie zurück nach Münster – vor allem, um den Kindern eine gute Ausbildung zu ermöglichen. Mit Erfolg: Sie wurden Semitist, Kunsthistoriker, Altphilologe, Germanist, Heimatforscher. Lange konnte Grimme seinen Ruhestand nicht genießen. Er starb schon zwei Jahre später an einem Herzschlag.