Lors de l’établissement du premier plan cadastral de la ville en 1815, il existait déjà un bâtiment à cet emplacement. De plan rectangulaire, il s’étendait davantage à l’est que la maison actuelle. Compte tenu des éléments encore en place, notamment au rez-de-chaussée, il apparaît qu’une grande partie de cette construction ait été préservée.

En effet, la demeure existante aujourd’hui, qui se compose de deux corps de bâtiments principaux (l’un à l’ouest, l’autre à l’est) auxquels sont adossées au nord des extensions ajoutées XXe siècle, conserve des dispositions antérieures au XIXe siècle. Le corps de bâtiment situé à l’ouest, bien que très remanié, possède au rez-de-chaussée et à l’étage des poutres de très forte section qui pourraient remonter au XVIe siècle. C’est aussi ce que suggère l’existence de la cage d’escalier en vis, même si celle-ci a subi de nombreuses modifications. Toutefois, cette partie de la maison ayant fait l’objet de lourdes transformations au cours du XXe siècle, notamment les façades et la pièce du rez-de-chaussée, il convient d’interpréter ces éléments avec beaucoup de prudence. La grande pièce qui occupe le rez-de-chaussée du corps de bâtiment ouest conserve quant à elle une poutraison homogène composée de poutres et de solives dont les sections pourraient témoigner d’une campagne de travaux remontant au XVIIIe siècle. La forme et le décor de la cheminée en grès en place dans cette pièce, si elle n’est pas issue d’un réemploi, tend à corroborer cette hypothèse.

Comme beaucoup d’autres maisons du centre historique de Milly, cette demeure a connu de profonds remaniements qui perturbent la lecture du bâti et la compréhension de son histoire.