Die heutige Schlossanlage geht auf das Jahr 1295 zurück. Als Erbauer des Wohnturms gilt Widukind von Grafschaft. Nach seinem Tod lebte seine Witwe Adelheid von Wildenberg dort. Später noch andere interessante Persönlichkeiten.