Le territoire de Mantes se trouve au fond d’un vaste amphithéâtre de collines boisées qui le dominent par un coteau et que longe la Seine. Il n’y a pas de site préhistorique ou antique qui ait été recensé à Mantes, mais la présence humaine est attestée par du matériel archéologique dans les environs proches. Il est à noter que le réseau routier antique connu ne passait pas à Mantes. La tradition émet l’hypothèse de l’antériorité de l’existence de Mantes-la-Ville dont Mantes-la-Jolie serait un démembrement. Il est probable que la « Medanta » du Polyptique d’Irminion, inventaire des biens de l’abbaye de Saint-Germain-des-Prés, ait été Mantes-la-Ville. Aucun vestige ne permet de connaître l’occupation du sol au haut Moyen-Âge. Des sources bien ultérieures parlent du « château » à Mantes, de la tour de Gannes ou du Mont Epervier qui aurait été bâtie par Ganelon neveu de Charlemagne et gouverneur de Mantes. On sait que pendant les invasions Normandes, en 845, les deux Mantes ont été pillées mais le fort et le château ne purent être pris. Des textes du XIe siècle font mention d’un castrum ou castellum. Il s’agit, à chaque fois de chartes émanant du comte de Valois et qui exemptent des bateaux de l’abbaye de Jumièges ou de Juziers du paiement de droits sur la Seine.

Ce castrum qui surveille le fleuve a une importance vitale dans cette zone frontalière entre France et Normandie et lorsque, en 1077, le roi Philippe Ier s'empare des biens du comte du Vexin,dont dépendait Mantes, il rattache la ville au domaine royal et y installe un vicomte. En 1097, la ville est prise et détruite par Guillaume-le-Conquérant, le voisin normand. Elle est reconstruite et comme les habitants de Mantes se plaignaient des exactions du comte que leur avait attribué Philippe 1er, (son fils cadet Philippe), la ville est prise par Louis VI et réunie définitivement au domaine royal

Le XIIe siècle est un siècle d’apogée pour la ville : elle bat monnaie depuis son rattachement à la couronne en 1077 , elle est dotée de droits communaux en 1110, le pont est reconstruit en pierre en 1162, de même que la collégiale, un hôtel Dieu est fondé vers 1196. La ville s’enrichit grâce au commerce notamment du vin dont l’importance est attestée postérieurement par un droit octroyé en 1211 par Philippe-Auguste. Le droit de hanse par terre et par eau, confirmé en 1201 par le même souverain, est aussi une source de prospérité pour la ville. Il s’agit d’une taxe qui porte sur les marchandises qui passent sur la Seine ou traversent Mantes par voie terrestre. Cette prospérité entraîna la croissance de la population, qui selon les données du Pouillé de Chartres devait dépasser 1500 habitants in muros et peut-être le double avec les faubourgs.

Elle est aussi favorisée par la construction d'un pont. On a vu qu’il n’y avait pas de route franchissant le fleuve à l’époque antique ni durant le haut Moyen-âge, donc pas de pont. Une nouvelle voie nord-sud allant d’Amiens-Beauvais à Dreux-Chartres est construite à une date inconnue. Cette route traverse la Seine grâce à un pont dont l’existence est attestée en 1033. Il s’agit d’un pont fortifié en trois points selon la chronique de Chrétien, rédigée au XVIIIe siècle : le texte parle de la forteresse au bout du pont du côté de Limay, d’une autre au milieu du pont, sur l’île Champion, et d’une troisième à l’entrée du pont . Les chroniques rapportent qu’en 1162 le pont a été reconstruit sur ordre du roi de France qui fit aussi concéder à la ville de Mantes l’île Champion qui auparavant dépendait de l’abbaye de Coulombs. Philippe -Auguste fit de fréquents séjours à Mantes et y mourut en 1223.

Saint Louis fonda le couvent des Cordeliers en 1229, et la famille royale fit plusieurs dons à la ville et notamment à la collégiale. Marie de Brabant eut la ville en douaire à la suite de son veuvage du roi Philippe le Hardi et vint résider dans le château dont elle fit son "séjour ordinaire". C 'est elle qui établit sa chambre des comptes juste à côté de la collégiale. La ville de Mantes fut donnée à Philippe d'Evreux, roi de Navarre qui se fit construire un corps de logis dans le château. Lorsque commence la guerre de Cent ans, la ville de Mantes est entre les mains de Charles II de Navarre (dit le Mauvais). En effet, Jean II le Bon, son beau-père, lui donna les villes de Mantes et de Meulan en échange des comtés de Brie et de Champagne et d'une forte somme d'argent. Charles de Navarre vint s'installer dans la ville avec des garnisons et augmenta les fortifications de la ville et du château. Comme le roi de Navarre était allié des Anglais, Charles V fit reprendre la ville par ses armées en 1364. Il fit lui aussi fortifier la ville et construire notamment la porte aux Images au bout du pont. La ville est prise par les Anglais en 1419 et Henri V y séjourne fréquemment.

La ville est définitivement libérée de la garnison anglaise en 1449 et peut alors reconstruire l'église Saint-Jacques qui avait été détruite. La tour Nord de la collégiale est aussi reconstruite en 1492. Le réseau d'adduction d'eau est remis en état par les échevins en 1520 et c'est alors qu'une fontaine a été construite devant l'hôtel-de-ville. La ville était au cœur d’un très grand vignoble et servait de dépôt pour toute la production locale. A l'époque moderne, cette prospérité connut un déclin pour des raisons diverses. Les débouchés traditionnels étaient Rouen (pour le marché Normand, Anglais et Hollandais), Amiens (marché picard et flamand) et Paris. De plus localement, les villes de Saint-Germain et de Versailles lui donnaient la préférence. Mais pour favoriser les vins de Bourgogne et du Bordelais, Colbert et Louvois ont établi une taxe de huit livres par muid de vin pour les ventes vers la Picardie et la Normandie dont les vins de Bourgogne et de Champagne sont exemptés. De plus, un droit de 8 livres par muid est instauré pour les vins à la sortie de la Seine d’où la concurrence des vins de Bordeaux pour lesquels la taxe est moins élevée à la sortie de la Garonne. Depuis 1577, il est interdit aux marchands de vins de la capitale de s’approvisionner dans un rayon de moins de 20 lieues (88 km). Enfin, au cours du XVII siècle, on a planté autour de Paris, sur des terres arables, des vignobles de ceps plus grossiers mais de meilleur rendement et se conservant mieux. En raison de tous ces inconvénients, le vignoble a reculé et on a arraché plus de quatre mille arpents de vigne autour de Mantes .

Toutefois, la ville n’est pas complètement ruinée et connaît même une belle activité grâce à la proximité de Versailles « et notre ville de Mantes qui se trouvait à portée de la cour se mettait à son aise par la consommation de ses vins, de ses fruits et de ses autres denrées » . Selon une description des environs de 1700 « ladite ville contenant en son enclos soixante-douze rues.. dans lesquelles se trouvent plus de 1100 maisons, parties belles, grandes et bien bâties, sans les jardins».

Un nouveau pont fut commencé en 1759 par Perronet, Trudaine étant Ministre d’Etat. La rue Royale fut percée dans son prolongement. Le vieux pont a été détruit en 1766, du côté de Mantes. L’atlas Trudaine montre que le projet initial comportait un pont sur le bras du côté de Limay, dans le prolongement du nouveau pont, avec une route royale identique dans le prolongement de celle de Mantes. Ces travaux ne furent exécutés que bien plus tard, si bien que le tracé du franchissement de la Seine se faisait en baïonnette. Il faudra attendre la construction du pont Perronet du côté de Limay vers 1845 pour que l’axe soit réalisé. Le plan d’Intendance, de 1787, montre que le territoire de Mantes était beaucoup plus réduit que celui de Mantes-la-Ville (quatre fois moins) et de Gassicourt (six fois moins). En 1810, selon la matrice cadastrale , il y avait 2 plâtrières, 1 brasserie, 5 tanneries et 3 moulins à eau. Ces activités étaient localisées près de la Seine et de la Vaucouleurs, du côté sud de la ville jouxtant Mantes-la-Ville. Les tanneurs se concentraient autour de la rue des tanneries, de part et d’autre de la Vaucouleurs. L’enquête de l’an II concernant les moulins à blé faisait aussi état de 3 moulins à eau à Mantes.

L'histoire de Mantes au XIXe siècle est celle d'une ville à l'étroit sur son territoire et qui cherche à s'agrandir. Les archives de la ville permettent d'en reconstituer l’historique. En 1807 déjà une première extension fut envisagée pour donner plus de clarté aux limites entre les deux communes de Mantes. Elle concernait le faubourg Saint-Lazare et le faubourg Saint-Pierre plus la promenade des Cordeliers. Cette proposition fut catégoriquement rejetée par Mantes-la-Ville en vertu du caractère « immémorial et immuable » des limites du territoire entre les deux villes. Seuls le chemin de halage et la promenade des Cordeliers furent alors concédés à Mantes, par ordonnance du 6 janvier 1826. Les 5 et 8 juillet 1854, le conseil municipal de Mantes-la-Ville s’opposa à nouveau à la demande d’extension faite par la ville de Mantes (délibération du conseil municipal de Mantes du 29 juin 1854), défendant qu’ « on ne voit pas pourquoi l’intérêt privé de la ville de Mantes l’emporterait sur l’intérêt privé de la commune de Mantes-la-Ville ». Cette demande était motivée notamment par la mise en place de la ligne de chemin de fer Paris-Rouen en 1843 qui avait coupé le territoire de Mantes-la -Ville en deux. Mantes réclamait ainsi la partie désormais coupée de Mantes-la-Ville. Le faible argument mathématique de la disproportion entre les deux communes était également avancé pour justifier l’accroissement du territoire de Mantes, auquel s’ajoutait enfin la nécessité de développement de la ville comparée aux villes voisines. Malgré ce refus catégorique soutenu par les habitants les plus « imposés » de Mantes-la-Ville, le conseil d’arrondissement de Mantes ayant préconisé le 10 juillet 1854 le versement d’une indemnité à Mantes-la-Ville en réparation du préjudice, le 2 août 1855, une loi fut promulguée entérinant l’annexion de ce nouveau territoire de 28 hectares.Cette opportunité permit immédiatement à la ville de se doter d'équipements. Après 1864, fut édifiée au bas de l'actuelle rue des Martraits, une usine à gaz pour l'éclairage public dans un premier temps, puis, en 1885, pour le gaz domestique (détruite par les bombardements de 1944). L’ouverture de la ligne de chemin de fer Paris-Rouen en 1843 avait impliqué de loger les nouveaux agents d’exploitation de la ligne. Mantes servit alors de réserve de main d’œuvre pour soutenir le développement des activités industrielles alentours. Parmi les activités nouvellement installées, la lutherie devint un élément identitaire fort de Mantes-la-Ville (Buffet-Crampon en 1850, Dolnet en 1880 et Selmer en 1919) et l’on trouve mention de luthiers résidant aux Martraits. La tuilerie Cauzard-Blanchard en 1860 ou encore la filature de coton Le Blan (1917-1918), les peintures Minsen, l’usine la Cellophane en 1926 sont des exemples du développement industriel du tournant du 20e siècle qui ont eu un impact dans la construction de logements à Mantes-la-Jolie.

Cette première extension est suivie par une seconde en 1930 : le rattachement de Gassicourt qui entraîne une extension considérable de la ville qui devient Mantes-Gassicourt. Cette petite commune de 938 ha. qui comptait 3149 habitants en 1926 arrive avec sa mairie-école (partiellement détruite par les bombardements) et son usine de papier à cigarettes, usine Braunstein, créée en 1892. La question du rattachement de Gassicourt à Mantes avait été soulevée après la première guerre mondiale. En 1925, les candidats aux élections municipales des deux côtés l’avaient mise à leur programme. La décision est prise en février 1929 et le changement de nom, Mantes-Gassicourt est adopté en 1930. Cette fusion permet à Mantes d'acquérir 703 ha soit de multiplier par cinq sa superficie. Le maire de Mantes, Auguste Goust (réélu de 1908 à 1941) mène dans l'entre-deux guerres un politique de modernisation et de bien-être social qui le conduit, en s'appuyant sur Raymond Marabout, architecte mantais, à construire ou aménager plusieurs HBM, immeubles ou cité-jardins, à construire des bains-douches et des écoles. Il envisage aussi la résorption de l'habitat insalubre dans les bas quartiers. La guerre accélère le mouvement et c'est désormais le maire Jean-Paul David et l'architecte urbaniste Raymond Lopez qui mènent une politique de modernité dont le Val Fourré est la partie la plus importante.

En 1953, le nom de Mantes-Gassicourt est abandonné au profit de Mantes-la-Jolie. Jean-Paul David, très actif à propos de ce changement soutient que cette appellation remonterait à Guillaume-le-Conquérant qui avait détruit et incendié le bourg. La ville s’était reconstruite et ainsi relevée de ses ruines aurait été appelée Mantes-la-Jolie. En réalité, aucun document ancien n’atteste que nom était officiellement utilisé. Le Conseil d’Etat fut difficile à convaincre mais accepta finalement en 1953.