Der historische Roman "Der Wartenberg" schildert in vier Kapiteln die Geschichte dieses Berges. Er trug einst eine Burg der Wittelsbacher, die im 12. Jahrhundert erbaut wurde und den ersten Bayerischen Herzögen Otto I. und Ludwig I. als Wohn- und Regierungssitz diente. Nach Verlegen der Hofhaltung in die neue Burg Landshut wurde die Wartenberger abgetragen und zu Füßen des Berges ein Jagdhaus für die Herzöge errichtet. An die Bewohner der Burg erinnert ein Gedenkstein auf dem Berg, dessen Inschriften über den vier Kapiteln des Romans stehen.