La présence d'une cave remontant en partie à l'époque médiévale (13e ou 14e siècle ?) avec un accès sur la rue Paul-Doumer (ancienne rue aux Oignons) atteste l'existence d'une maison à cet emplacement dès le Moyen Age. Néanmoins, les élévations sont évidemment postérieures. Plusieurs éléments permettent de dater une partie des structures existantes du 18e siècle, notamment les garde-corps en ferronnerie et la forme de l'arc du passage cocher. Une carte postale ancienne (Panorama sur l'hôtel de ville) confirme cette datation en montrant l'élévation des bâtiments sur cour avant remaniement : on voit à l'étage du corps oriental des baies légèrement cintrées, et sur l'aile ouest un toit à la Mansart avec une lucarne de même forme. Le plan de Desquinemare (1740), pour sa part, représente en fond de cour un bâtiment qui peut correspondre au corps sud actuel, avec sa cave en berceau et une cage d'escalier demi hors-oeuvre attenante (aujourd'hui incluse dans l'aile orientale). A cette date, le corps de logis sur rue est cependant réduit aux trois travées orientales. La construction des deux travées occidentales du corps sur rue est donc postérieure (2e moitié du 18e siècle?), ce qui explique l'irrégularité des travées en façade. Sur le cadastre napoléonien (1826), l'organisation générale des bâtiments autour de la cour est déjà établie même si des remaniements interviennent encore dans le courant du 19e et du 20 siècle. La façade sur la rue Paul-Doumer, notamment, a été entièrement rhabillée pendant l'entre-deux-guerres. Une restauration récente a achevé de rendre peu lisibles les élévations sur cour.