Für die Bewohner bedeutete das Privileg eine deutliche Besserstellung: Sie wurden von Kopfsteuern, Frondiensten und militärischen Verpflichtungen befreit und erhielten das Recht, selbstständig nach Erzen zu schürfen. Damit wurde Silbach zu einem kleinen Zentrum des Silberbergbaus, in dem sich Bergleute aus der Umgebung ansiedelten und eine eigene, freie Gemeinschaft bildeten.
Noch im 17. Jahrhundert sind zahlreiche Gruben und Stollen belegt – etwa die „Zwölf Apostel“, die „Silberkuhle“ oder die „Kleine Hoffnung“. Manche dieser Gruben dienten später auch dem Abbau von Blei und Schiefer. Mit dem Rückgang des Silbergehalts in den Gesteinsschichten und den steigenden Kosten verlor der Bergbau im 18. Jahrhundert allmählich an Bedeutung, blieb aber Teil des lokalen Selbstverständnisses.
Spuren dieser Ära sind bis heute sichtbar: alte Stolleneingänge, Halden und Flurnamen wie „Silberkuhle“ oder „Am Stollen“ erinnern an die Zeit, als Silbach vom Glanz des Silbers geprägt war.