Un premier hôtel existait au 17e siècle. il fut acquis en 1647 par Jean-François de Guénégaud des Brosses qui le fit reconstruire par François Mansard en 1652-1653. D'abord loué par l'héritier de Guénégaud, l'hôtel est vendu au fermier général Jean Romanet qui le fait mettre au goût du jour. Au 19e siècle il abrite divers ateliers de bronziers et de bijoutiers. En 1961 il est acheté par la ville de Paris qui le sauve ainsi de la destruction. Après sa restauration en 1967 il devient le musée de la chasse et de la nature.