Vielleicht war Gertrud sein weibliches Pendant. Ob sie ihm allerdings auch in Liebesangelegenheiten gleichkam, ist nicht bekannt. Aber es wäre vorstellbar – schließlich traf sie in ihrer Rolle als Verwalterin viele Männer. Und sie war unabhängig.
Für sie ließ Ernst den Landsberger Hof errichten. Er verlegte seinen Wohnsitz nach Arnsberg – nur, um seiner Geliebten ganz nah zu sein. Das Paar hatte einen Sohn, Wilhelm von Bayern, der später Abt der Klöster Stablo und Malmedy wurde, und eine Tochter, Katharina, die das Arnsberger Anwesen erbte.
1612 starb Ernst von Bayern mit 58 Jahren in Arnsberg. Beigesetzt wurde er im Kölner Dom.
Die Beziehung zwischen Gertrud und Ernst hatte auch kirchenpolitische Folgen. In Westfalen lebten katholische Geistliche im 16. Jahrhundert in einer Grauzone: Auch wenn sie nicht verheiratet waren, neigten viele dem – geduldeten – Konkubinat zu. Gelegentlich wurden Strafen verhängt, die aber am Tatbestand nichts änderten. Nach dem Tod Ernsts durften Priester nur noch ihr Amt ausüben, wenn sie nicht mit einer „Konkubine“ – wie es in überlieferten Visitationsprotokollen hieß – zusammenlebten.
Welchen politischen Einfluss Gertrud von Plettenberg hatte, zeigt sich auch daran, dass dem Erzbischof wegen der öffentlich missbilligten Beziehung ein Koadjutor zur Seite gestellt wurde. Ein Kuadjutor ist z.B. ein Bischof, der einem anderen Bischof zur Seite gestellt wird, um ihn zu „unterstützen“, wie es offiziell heißt. Ernst behielt zwar seinen Titel, verfügte aber nicht mehr über die vollen politischen und kirchlichen Rechte eines Erzbischofs und Kurfürsten. Dieser Koadjutor war sein Neffe und späterer Nachfolger: Ferdinand von Bayern.
1608 starb Gertrud von Plettenberg. Es gab Gerüchte, dass sie ermordet wurde. Kein Wunder, dass man sich bis heute die Sage erzählt von der Jungfer, die vom Landsberger Hof aus jede Nacht schlüsselklirrend zum Schloss hinauf wandern soll.