Auf Initiative des damaligen Stadtpfarrers Dr. Franz Ludwig Badum kamen 1851 die Armen Schulschwestern von Unserer Lieben Frau nach Miltenberg.
Hier übernahmen sie den Unterricht in der Mädchenschule, außerdem das Waisenhaus und die gegenüber liegende Kinderschule. 1854 konnte man auch eine „Anstalt für weibliche Zöglinge mit Pensionat und Höherer Töchterschule“ einrichten.
Förderer des Ordens waren das Kleinheubacher Fürstenhaus zu Löwenstein-Wertheim-Rosenberg und der in Miltenberg wohnende Major Johann Robert von Capitain.
1859 baute der Orden das heute noch stehende Haupthaus des als Mädchenrealschule betriebenen „Instituts De Notre Dame“. Bis 1936 wurde das Gebäude wegen einer stetig steigenden Anzahl an Schülerinnen mehrfach erweitert. 1954 zählte das Institut 310 Schülerinnen und im Kindergarten 120 Buben und Mädchen.
1973 schloss dann das „Institut“ nach 122 Jahren seine Pforten. Die Mädchenrealschule wurde in die Staatliche Realschule eingegliedert, das Gebäude des Instituts dient seither der Caritas als Alten- und Pflegeheim.
