Der Hohe Stein, ein geologisches Naturdenkmal hoch über dem Plauenschen Grund (190 m über NN), ist letzter Rest einer Brandungsklippe im Meer der Kreidezeit. An der aus Syenodiorit bestehenden Klippe sind noch Fossilien von kreidezeitlichen Meeresbewohnern zu sehen. In  urgeschichtlicher Zeit lag hier vermutlich eine Siedlung der Billendorfer Kultur (800 - 550 v. Chr.), da in der Nähe entsprechende  Funde gemacht wurden. Im Mittelalter diente der markante Felsen als Kalvarienberg mit mehreren Gebetsstationen für Prozessionen. Später stand hier zeitweise ein Galgen. Wegen seiner strategischen Lage war  der Hohe Stein auch militärischer Beobachtungsposten zu Kriegszeiten. 1759/60 wurde hier eine Schanze angelegt. In den Befreiungskriegen 1813 nutzten die Verbündeten unter Fürst  Schwarzenberg das Areal als Hauptquartier. Auch im  Preußisch- Österreichischen Krieg 1866 diente der Hohe Stein als Wach- und Alarmposten und war Standort eines Geschützes. Teile der Felsen fielen Anfang des 19. Jahrhunderts einem Steinbruch zum Opfer.

Um 1815 begannen erstmals gezielte wissenschaftliche Forschungen am Hohen Stein. Naturforscher wie Heinrich Ludwig  Reichenbach, Hans Bruno Geinitz und Ernst Fürchtegott Zschau befassten sich mit den geologischen Gegebenheiten und wiesen einige seltene Pflanzenarten wie Steinnelke und Bernsteinkraut nach. 1862 erwarb der Deubener Schmiedemeister Friedrich  August Frohberg das Grundstück und ließ hier ein Ausflugsrestaurant errichten. Außerdem entstand zwei Jahre später ein noch heute erhaltener Aussichtsturm (Foto). Das umliegende Gelände wurde ab 1882 von der Felsenkellerbrauerei parkartig erschlossen, wobei auch die Aussichtsbastion am Felshang zum Weißeritztal entstand.  Das Areal westlich des Hohen Steins erwarb 1906 Erwin Bienert, Sohn des Mühlenbesitzers, und ließ es zum Landschaftspark umgestaltet. Zu Ehren der Mühlenbesitzerfamilie trägt die Anlage heute den Namen Bienertpark. Hier befindet sich ein um 1900 als Löschwasserbecken für  die Bienertmühle angelegter Teich sowie eine 1961 eingeweihte kleine Sternwarte.