Die Geschichte von Schloss Osterstein ist auf das Engste mit der Geschichte der Stadt Zwickau verbunden. Beide haben sich in ihrer Entstehung und Entwicklung gegenseitig beeinflusst. Zwickau wurde erstmals 1118 urkundlich erwähnt. Archäologische Funde im Schlosshof datieren auf eine Zeit kurz vor 1200. Schriftlich Quellen belegen die Existenz des Castrum Czikkaw um 1292. Das Schloss in seiner heutigen Erscheinung geht jedoch in weiten Teilen zurück in die Blütezeit der Renaissance in Sachsen.
Nachdem die Burg beim großen Stadtbrand von 1403 vermutlich arg gelitten hatte, wurde sie unter der Regierung von Markgraf Wilhelm I. zwischen 1404 und 1407 abgerissen und als landesherrliche Burg wieder errichtet. Während der Reformationszeit, fast fünf Jahre nach dem Thesenanschlag von Wittenberg, predigte Martin Luther auf dem Schloss, am 2. Mai 1522.
1565 befand sich das Bauwerk wieder in einem stark Reparatur bedürftigem Zustand. Auf Veranlassung von Kurfürst August wurde darauf hin der kurfürstliche Baumeister Hans Irmisch mit den Planungen für ein kurfürstliches Schloss betraut. Der Aufbau erfolgte unter dem sächsischen Kurfürst Christian I im Zeitraum von 1587 bis 1590 zu einem der schönsten und bedeutendsten Renaissanceschlösser Sachsens.
Im 30 jährigen Krieg von 1618-1648 wurde die Schlossanlage durch verschiedene Besatzungstruppen stark in Mitleidenschaft gezogen. Im Anschluss blieb es fast 30 Jahre unbewohnt. Es folgte eine Zeit in der das Schloss dem Sächsischen Fürstenhaus meist besuchsweise als Aufenthalts- und repräsentativer Verhandlungsort diente. In der zweiten Hälfte des 18. Jahrhunderts verblasste der Glanz des Schlosses. Kurfürstliche Besuche sind in dieser Zeit nicht mehr nachzuweisen.
Erst im Zuge der Justizreform gewinnt das Bauwerk erneut an Bedeutung. Ab 1770 wird das Schloss zur Gefangenenanstalt umgebaut und in der Folge immer mehr erweitert. Bereits 1806/07 folgt eine maßgebliche Aufstockung des als Zellenhaus hergerichteten Westflügels (ehem. Marstall) auf die Höhe des Süd- und Nordflügels. Zur Erweiterung der noch immer nicht ausreichenden Kapazität werden ab 1835/36 die Häftlinge auch im benachbarten Kornhaus untergebracht. 1864 nimmt dann westlich des Schlosses ein neues Zellenhaus in Kreuzform den Betrieb auf.
Auch bekannte Persönlichkeiten wurden in der Gefangenenanstalt inhaftiert. So musste der Schriftsteller Karl May zweimal (1865 und 1868) Haftstrafen wegen Diebstahls antreten. Auch August Bebel verbüßte hier zwei Haftstrafen wenn auch aus ganz anderen Gründen: 1874/75 wegen Zugehörigkeit zu einer verbotenen politischen Organisation und 1886/87 wegen Majestätsbeleidigung. Die Nutzung des Schlosses als Gefangenen- und Strafanstalt prägte das Schloss bis in die Zeit nach dem zweiten Weltkrieg. Von 1933 bis 1945 folgte die Einrichtung eines NS-Schutzhaftlagers. In der jungen DDR diente das Objekt bis 1963 der Inhaftierung politischer Gefangener.
Vor allem dieser jüngeren Vergangenheit ist es wohl anzulasten, dass das Schloss aus dem Bewusstsein der Öffentlichkeit zusehends verdrängt wurde. Nach einer zwischenzeitlichen Nutzung als Kleinbetrieb, Lager, Wäscherei und Verkaufsstelle hatte das Schloss seit 1975 keinerlei Funktion mehr zu erfüllen und verfiel in der Folge zusehends. Bereits ab 1963 wurden für das Schloss umfassende und nachhaltige Nachnutzungen gesucht, jedoch nicht gefunden. Auch nach der Wende von 1989 wurde ernsthafte Anstrengungen unternommen und Pläne zur Rekonstruktion des Schlosses geschmiedet. Hotels, Pflegeheim, Einkaufszentrum, öffentliche Räume – Ideen gab es viele. Alle scheiterten schließlich mangels Finanzierbarkeit. Das Schloss schien wegen des fortgeschrittenen Verfalls und trotz einer dringend ausgeführten Notsicherung im Jahr 2000 bereits verloren.
Erst der Projektgesellschaft Schloss Osterstein GmbH & Co KG als Eigentümer und Investor ist es gemeinsam mit der Senioren und Seniorenpflegeheim gGmbH der Stadt Zwickau als Partner für den Betrieb der Altenpflegeeinrichtung gelungen ein tragfähiges Gesamtkonzept zum Wiederaufbau der Schlossanlage vorzulegen und umzusetzen. Entstanden ist eine öffentlich integrierte zukunftsweisende Seniorenwohnanlage mit einem umfangreichen Dienstleistungsangebot und einer Gesamtkapazität von 145 Betten. Die repräsentativen Räume des Schlosses und der Schlosshof werden zu öffentlichen Veranstaltungen genutzt. Gastronomische Angebote runden das Angebot ab.
Die feierliche Eröffnung der Seniorenwohnanlage wurde nach nur zweijähriger Bauzeit am 07.11.2008 vollzogen.
Der Büroinhaber war an diesem Projekt von der Projektentwicklung in 2003 bis zum Abschluss der Bauausführung in 2008 als Projektleiter Gebäudeplanung bei der S&P Sahlmann Planungsgesellschaft mbH Leipzig maßgeblich beteiligt.