Das Geschlecht der Bilsteiner herrschte über weite Teile des südlichen Sauerlands, führte jedoch keinen Grafentitel, da sie nur indirekte Lehnsträger waren. Ihr Einfluss beruhte vor allem auf dem Schutz freier Bauern – nicht auf adeliger Macht oder großem Landbesitz.
Der letzte Bilsteiner Edelherr hatte keine männlichen Nachfolger, und so kamen schon Mitte des 14. Jahrhunderts neue Burgherren auf die Vredeburg: zunächst Graf Gottfried IV., danach ging die Burg in den Besitz des Grafen Engelbert II. von der Mark über – und nach einigem Hin und Her war sie im Besitz des Erzbistums Köln.
Nach dem Aussterben des Hauses Bilstein im Mannesstamm um 1360 rückte die Burg in den Fokus politischer Machtkämpfe. Zunächst fiel sie in den Besitz von Graf Gottfried IV. von Arnsberg, bevor sie im Jahr 1366 durch kriegerische Auseinandersetzungen von Graf Engelbert II. von der Mark erobert wurde. Diese Zugehörigkeit erwies sich jedoch als temporär: Im Jahr 1444 eroberte der Erzbischof von Köln, Dietrich von Moers, die Burg während der Soester Fehde und integrierte das Gebiet dauerhaft in das Herzogtum Westfalen. Mit dieser Eingliederung büßte die Burg rasch an militärischer Bedeutung ein.