Depuis le 12e siècle, un pont en bois relie Mantes à Limay. En 1613, Sully fait construire à son emplacement un pont en maçonnerie de 37 arches, scindé en trois parties non alignées : l'une relie Mantes à l'île aux Dames, la seconde permet de traverser les zones marécageuses de l'île, et la troisième relie l'île aux Dames à Limay, il s'agit du Vieux Pont de Limay. L'intense circulation et les crues du fleuve détériorent les édifices très régulièrement. En 1731, le tronçon central est entièrement refait par Fayolle. Afin de répondre aux nombreuses plaintes et objections des habitants de Mantes, Trudaine charge l'ingénieur des Ponts et Chaussées, Hupeau, de réaliser les plans du nouveau pont. L'adjudication des travaux a lieu en 1756, et deux ans plus tard, les travaux commencent. La Guerre de Sept ans les retarde, et l'ingénieur des Ponts et Chaussées Perronet modifie les plans en 1764, notamment la courbure des arches pour que les eaux s'écoulent mieux et que l'édifice soit plus léger. Le Pont Neuf, dit Pont Perronet, est mis en service en septembre 1765. Quelques réparations, sont effectuées dans les décennies postérieures, notamment en 1834 (remplissage des joints dans les voussoirs, réfection importante de la maçonnerie, et construction d'une chappe au-dessus des voûtes et des piles). En 1845, il est reconstruit à l'identique, et du côté de Limay un pont du même type est édifié dans son prolongement, l'ensemble est appelé Pont Neuf. En 1870, le pont est dynamité, un pont provisoire de bateaux est mis en place jusqu'en 1874 où le pont est à nouveau mis en service. En 1940, les bombardements du génie français détruisent toutes les arches du tronçon côté Mantes.