Très tôt la ville a été fortifiée en plus du château. C’est la première enceinte que les archéologues restituent par déduction appuyée sur la morphogenèse. A la suite des pillages normands, Charles le Chauve renforce les fortifications du château et fait reconstruire les murailles de la ville. La ville était « munie de bonnes murailles et remparts avec de très larges et profonds fossés » selon une chronique postérieure citée par Marcel Lachiver. Cela n’empêcha pas sa mise à sac par le duc de Normandie en 1087. Les habitants reconstruisirent la ville et « firent clore leur dite ville de murailles et tours ». On peut considérer que cette période fut celle de l’édification de la seconde enceinte. Luc Bourgeois en a reconstitué le tracé qui se confond avec la muraille postérieure au nord, de la tour Saint Roch à la Tour Brayant. A partir de cette dernière le tracé se resserre pour rejoindre la rue de la porte Cadotte puis la rue de la Sangle (Luc Bourgeois lui fait néanmoins faire un détour par la rue Maurepas, plus au sud, avant de rejoindre la rue de la Sangle puis les bords de Seine).

La prospérité de la ville au XIIe siècle entraîna la croissance de la population, qui selon les données du Pouillé de Chartres devait dépasser 1500 habitants in muros et peut-être le double avec les faubourgs selon Bruno Dufaÿ. Les deux directions prises par cette expansion sont le prieuré Saint-Martin et le prieuré de la Madeleine, si bien qu’une troisième enceinte fut entreprise dans le courant du XIIIe siècle. Il est vraisemblable mais pas attesté que ce fut l’œuvre de Philippe-Auguste. Les limites de la ville sont alors fixées jusqu’au cadastre napoléonien.

Des aménagements sont toutefois effectués au gré des besoins, comme sous le règne de Saint-Louis, où la porte de la ville du côté des Cordeliers est refaite à neuf. En 1313 ce sont les murs du côté de Rosny qui sont en très mauvais état. Louis X le Hutin demande aux habitants de reconstruire la porte de Rosny à leurs frais. Le reste de la muraille est ruiné jusqu’à la porte aux Saints.

Pendant la Guerre de Cent ans, l’enceinte a été remaniée de manière conséquente à trois reprises. Un premier renforcement est réalisé par Charles de Navarre, le gendre du roi, qui est nommé comte de Mantes et fait réparer les fortifications en 1351. Il fait aussi réparer le château et lance des travaux de fortification du côté de la collégiale et de l’Etape. Il a peut-être aussi fait aménager un double fossé le long du rempart nord-ouest.

Les fortifications sont reprises par Charles V en 1365, la porte du pont, ou « porte aux Images » est alors construite avec l’effigie du Roi et de la Reine de chaque côté de la Vierge.

En en 1375, Charles V octroie une forte somme d’argent pour réparer les fortifications de la ville (couronnement des remparts, réfection des fossés). Peut-être alors le prieuré Saint-Martin fut-il englobé dans l’enceinte. Deux nouvelles portes furent construites du côté de la Seine : les portes au Poisson (ou au Pelu) et de la Plâtrière (ou à Baudet).

Le troisième remaniement a lieu lors de l’occupation anglaise (1419-1449). Travaux de réfection sur des portes et érection de nouvelles tours, celle de la Haute-Bruyère, la tour Bérault et en 1446 la tour Saint Martin. L’échauguette du quai des Cordeliers peut dater de cette époque. En 1492-1508 la tour de Notre Dame est reconstruite.

Au XVIe siècle, c’est à cause des guerres civiles que la ville est à nouveau fortifiée. En 1588 Henri II ordonne la construction des éperons et terrasses revêtues de gazon pour le fortifier et en 1594 on construit une citadelle à la porte de Rosny : « on abattit beaucoup de maisons au dedans et au dehors de la ville ». Cette citadelle fut détruite en 1615. Les fortifications n’ont plus d’utilité au XVIIe siècle et en 1739 on abat les portes de Rosny, de Chante à l’Oie et des Cordeliers. La tour Saint-Nicolas fut détruite en 1772 et la tour Saint-Roch en 1845. Ces deux tours avaient les pieds dans l'eau et obligeaient ainsi les bateaux à s'arrêter pour que les chevaux passent par une porte pour entrer dans la ville. Quant à la tour Bérault, son tracé est lisible sur le cadastre napoléonien. La seule tour qui subsiste est la tour Saint-Martin. Des vestiges de murs sont encore lisibles ça et là.