Le bâtiment conventuel fut bâti par Pierre François Godot, architecte de l'ordre de la Merci qui recueillait des aumônes destinées au rachat des voyageurs capturés en mer par les barbaresques. Il reconstruisit simultanément le couvent de Lyon et celui de Paris où les religieux disposaient directement des fonds légués par la famille de Bléry. Les bâtiments sont composés d'un corps de logis et de deux ailes en retour sur une cour fermée par un portail comme pour un hôtel particulier. Cet ensemble subsiste amputé de la chapelle monastique due à l'architecte Germain Boffrand, autrefois située sur la parcelle contigüe.