La chapelle Saint-Rémi constitue l’un des seuls vestiges de l’ancien Hôtel des Mousquetaires noirs, édifié en 1699-1701 par R. de Cotte sur les plans de son maître J. Hardouin-Mansart, et désaffecté puis vendu en 1775. Le Cardinal Louis de Rohan l’acheta en 1780 en tant qu’administrateur, pour y transférer l’institution des Aveugles des Quinze-Vingts, fondée rue Saint-Honoré par saint Louis entre 1254 et 1261.

La chapelle Saint-Rémi, qui reprit le vocable de l’église de la rue Saint-Honoré, fut agrandie en 1789 de trois travées et d’une tribune, pour y accueillir une partie du mobilier provenant de l’ancienne chapelle de la rue Saint-Honoré, parmi laquelle des vitraux représentant la Vierge et Saints Louis, Rémi, Joseph et Jean-Baptiste. Pillée et fermée entre 1793 et 1800, elle fut ensuite louée à la Ville de Paris pendant tout le XIXe siècle pour abriter la paroisse Saint-Antoine, succursale de l’église Sainte-Marguerite tout en servant de chapelle pour l’hospice.

Aujourd’hui deux autres verrières d’inspiration encore gallicane et légitimiste, anonymes mais datées de 1892, décorent le chœur ; leurs encadrements en retables composés d’après un même carton, l’emploi généreux d’émaux bleus et rouges et les nombreux verres gravés rappellent les œuvres que créait cinquante ans auparavant la Manufacture de Sèvres. Lors de la reconstruction de l’ensemble de l’hôpital entre 1956 et 1966, la nef de la chapelle fut abattue, puis reconstruite. La destruction de la chapelle étant à nouveau à l’ordre du jour en 1976, une mesure de protection par les Monuments historiques la sauva de cette issue.