Anders erging es zunächst der neuen Burg. Sie diente den Grafen von Arnsberg bis 1368 als Wohnsitz. Erbaut hatte sie der Enkel Bernhards: Friedrich der Streitbare. Nach dessen Tod ging die Grafschaft auf seinen niederländischen Schwiegersohn über: Graf Gottfried I. von Cujk. Dessen Sohn wurde als Brudermörder bekannt – er ließ seinen Bruder im Schlosskerker verhungern, um das Erbe nicht teilen zu müssen. Als Sühne stiftete er das Kloster Wedinghausen.
So viel nur in aller Kürze zu den Besitzern der beiden Arnsberger Burgen. Wer mehr über die Grafen von Arnsberg-Werl lesen möchte, sollte unbedingt den Bericht über Lochtrop bei Schmallenberg lesen.
Das Arnsberger Schloss wurde im 16. Jahrhundert – als es sich im Besitz der kölnischen Erzbischöfe und späteren Kurfürsten befand – zunächst im Renaissancestil, später im Barockstil umgestaltet. Es muss ein wahrhaft prächtiger Bau gewesen sein, wie man auch auf der alten Zeichnung rechts sehen kann.
1762 wurde das Schloss im Siebenjährigen Krieg zerstört. Die Schlossruine ist heute eine gut gepflegte und gern besuchte Anlage, auf der regelmäßig Veranstaltungen stattfinden.