Als die Gemeinde Siedlinghausen 1810 den Kauf erwog, lehnte der Rat ab. So fiel das Gut in die Hände von Freiherr Friedrich Leopold von Fürstenberg. Der alte Hof wurde abgerissen, und der Freiherr träumte von einem Jagdschloss.