L'hôtel occupe l'angle nord-est du "castrum" édifié à la fin de l'Antiquité, et dont les fondations se voient encore dans la cave. Une fouille récente (D. Couturier, 2012) a permis de retrouver une autre portion du "castrum" dans le jardin, juste au nord du logis. Dans ce secteur s'élevait au Moyen Âge une halle au blé qui a donné son nom à la rue jusqu'en 1840, avant qu'elle ne soit rebaptisée "rue Tronchon". L'hôtel a été construit au XVIIIe siècle pour la famille Navarre de Longuejoue. Il possédait un très grand jardin qui s'étendait jusqu'à la tour des Arbalétriers, résultant d'opérations d'extension progressive à l'est du "castrum" (1649, 1742, 1770, 1776). Le prolongement de la rue de l'Ecorcherie (actuelle rue de Longpérier), décidé en 1843-1846, l'a toutefois scindé en deux. La demeure a été remaniée au début du XXe siècle par M. Cornier avec notamment l'adjonction d'une aile en pavillon au nord.