Une maison plus ancienne est attestée au 17e siècle, maison qui fit partie de la dot de Marie-Rachel de Meuvres lors de son mariage avec Pierre-Henry Le Maistre, fils d'un fermier général. La maison voisine au 99 fait partie du lot. Dans un premier temps, Le Maistre fait d'importants travaux au 99 puis en 1722 il entreprend de construire à l'actuel 97 un hôtel qui est achevé en 1724, date à laquelle est délivrée l'autorisation de poser un balcon sur la façade. C'est l'architecte Debias-Aubry qui fut sans doute chargé des travaux, son nom apparaît au crayon au dos d'un plan. L'hôtel était destiné à la location, le propriétaire habitant au 99. A sa mort, sa plus jeune fille Jeanne-Henriette Comtesse de Ségur en hérita d'où le nom traditionnel de l'hôtel. Le couple se réserva un appartement au 99 et loua tout le reste, comme en témoignent de nombreux baux. Après la Révolution, l'hôtel fut acquis en 1809 par le comte de Salm-Dyck qui y effectua d'importantes modifications, notamment dans leur appartement du premier étage, modifications réalisées par l'architecte Antoine Vaudoyer. La comtesse de Salm, Constance, tenait chez elle un salon fréquenté par de nombreux artistes comme Stendhal ou Houdon.