Selon une ancienne légende, lors d'une promenade romantique du margrave d'Autriche Léopold III et de sa belle épouse Agnès, le vent a emporté sa cape légère. De nombreuses années ont passé auparavant, alors que lors de la chasse, Léopold a remarqué la cape préférée de sa femme sous les feuilles vertes d'un buisson. Au même moment, l'image de la Vierge Marie est apparue au margrave, qui a souhaité la construction du monastère au même endroit. Que ce soit vrai ou juste une légende, personne ne le sait avec certitude, mais aujourd'hui, l’abbaye de Klosterneuburg conserve le cap préféré d'Agnès, que tous les visiteurs peuvent voir.

Les historiens ont déjà parlé de la construction de l'ancienne abbaye et de son sort ultérieur, qui prétendent qu'elle a été construite au début du XIIe siècle. Le troisième fils de Léopold et d'Agnès, Otton, a été nommé abbé du monastère. Le fondateur lui-même a vécu à peine pour voir la consécration de son abbaye, où il a été enterré. Peu de temps après, l'Église catholique a canonisé Léopold III et l’abbaye est devenue un centre de pèlerinage pour les croyants catholiques. Cela continuait jusqu'au XVIe siècle, quand, à la suite de la Réforme et des attaques régulières de l'Empire ottoman, l’abbaye a été pratiquement détruite.

Heureusement, déjà au début du XVIIe siècle, sa restauration a commencé. Grâce au célèbre peintre italien Giovanni Battista Carloni, l’abbaye a été renouvelée au style baroque solennel. L'empereur romain germanique Charles IV a contribué au développement de l’abbaye. La gloire du monastère espagnol El Escorial hantait l'empereur. Il a décidé de surpasser le roi Philippe II et a reconstruit presque entièrement Klosterneuburg. Parallèlement, des manuscrits rares reconstituaient rapidement la collection de la bibliothèque de l’abbaye. Les derniers changements importants ont eu lieu au XIXe siècle, lorsque les tours baroques du monastère ont été remplacées par les tours gothiques. Parallèlement, une luxueuse salle en marbre a été créée, décorée d'une ravissante fresque célébrant la grandeur de l'Empire autrichien.

Aujourd'hui, l’abbaye grandiose fait une impression si puissante que le plus souvent, lorsque le mot Klosterneuburg est entendu, on se souvient de l’abbaye et seulement après de la ville du même nom. Elle est considérée comme l'une des plus anciennes abbayes d'Autriche, qui a conservé à ce jour sa décoration intérieure d'origine, ses meubles anciens et ses œuvres d'art originales de maîtres italiens et néerlandais.