Selon Eugène Grave qui a consulté les délibérations du conseil municipal, la décision de construire la porte des comptes a été prise en 1536. Elle permettait, comme c'est toujours le cas, de communiquer du parvis de la collégiale à la rue du Fort. Son nom provient du fait qu'elle était attenante à la "chambre des comptes". Cette dernière était une grande salle qui se trouvait à l'étage de la porte du Fort. Elle y aurait été installée par la reine Marie de Brabant en 1285. Selon le projet, elle devait comporter un tabernacle avec une statue de Notre-Dame, visible des deux côtés. En 1640, la ville demanda la destruction de ce bâtiment "tout ruineux" et le remploi des matériaux dans la reconstruction de l'hôtel-de-ville. La porte, elle, a été conservée mais a beaucoup souffert de la Révolution. Cela n'a pas empêché son classement en 1966.