Erst 1260 erscheint ein Konrad von Haltenberg als Dienstmann des letzten Staufers Konradin in einer Urkunde. Später dienten Angehörige dieser Familie auch den Herzögen von Bayern.

Anfang des 15. Jahrhunderts erwarb der Herzog eine Burghälfte, die er 1425 an den Augsburger Patrizier Peter Rehlinger weiterverkaufte.

Die Rehlinger erwarben in der Folge die ganze Burg, die bis ins frühe 17. Jahrhundert im Besitz des Geschlechtes blieb.

1612 kaufte schließlich der spätere Kurfürst Maximilian I. die Anlage, die danach zum Jagdschloss umgebaut wurde. Die nahen Lechauen waren besonders für die „Reiherbeize“, also die Falkenjagd auf Fischreiher geeignet. Auch das nahe „Westerholz“ bot ergiebige Jagdgründe für die Münchner Hofgesellschaft, die auf dem Kurfürstenweg hierher gelangte.

Die Zeit der großen Hofjagden ging allerdings mit dem 18. Jahrhundert zu Ende. Das nun entbehrlich gewordene Jagdschloss wurde weitgehend abgerissen. Bis heute erhalten und bewirtschaftet ist allerdings der ehemalige Wirtschaftshof in der Vorburg. Das Burggelände war seit dem 19. Jahrhundert im Besitz der Herren von Thyssen.

1982 konnte der Landkreis Landsberg am Lech die Hauptburg von den Eigentümern erwerben und begann mit der Sanierung der Anlage. Die verbliebene Substanz wurde gesichert und der Bergfried als Aussichtsturm zugänglich gemacht. Hierbei wurde auch der Turmabschluss aufgemauert und überdacht. Bis zur Sanierung befand sich die Ruine in einem völlig verwahrlosten Zustand. In den großen Bergfried war ein undichtes Wasserreservoir eingebaut, dessen auslaufender Inhalt im Winter beträchtliche Frostschäden verursachte.