La demeure dite de Marguerite de Valois peut avoir été construite pour Jean de la Haye qui la possède à la fin du 16e siècle. Marguerite de Valois rachète la demeure en 1609 et y fait bâtir le nymphée avant sa mort en 1615. La première chapelle de Lorette est élevée durant le 4e quart du 17e siècle à l'Initiative de M. De Bretonvilliers qui la cède au cure Ollier, fondateur de la compagnie des prêtres de Saint-Sulpice. La chapelle Notre-Dame-de-Toutes-Grâces est bâtie en 1808 sous la direction de Jacques-André Emery, supérieur du séminaire. Les bâtiments de la solitude comprenant une chapelle sont construits en 1842. La chapelle de Lorette, incendiée pendant la Commune, est rebâtie en 1872. Elle est alors inclue entre deux corps de bâtiments. La demeure de Marguerite de Valois est progressivement démolie de 1872 à 1894. Elle est remplacée par un nouveau séminaire construit parallèlement. La grande chapelle est bâtie de 1898 à 1901 sur les plans de l'architecte diocésain Edouard Bérard. Le monument à la mémoire des ecclésiastiques et séminaristes morts pendant la guerre de 1914-1918 fut érigé vers 1920