Dès avant le 10e siècle, un pont de bois reliait Meulan à l'actuelle Ile du Fort ; il était prolongé par un autre pont de bois de l'autre côté de l'île et se situait environ à 500 pas du Petit Pont actuel. Ce dernier a été construit à la fin du 10e siècle, sur des fondations de pierre et avec une tête d'ouvrage fortifiée, par les comtes de Meulan qui y ont installé des péages fort rentables, attestés dès la fin du 10e siècle par une charte du comte Hugues Ier de Meulan. En 1189, les bénéfices du péage sont cédés à la ville par les comtes. Théâtre de nombreux affrontements, notamment lors de la Guerre de Cent ans et des Guerres de religion, le pont dut constamment être réparé ; la seconde arche est décintrée sous Henri IV qui ordonne sa reconstruction. Au 17e siècle, l'ouvrage qui est désormais tout en maçonnerie, est coupé plusieurs fois, en 1636 et en 1651 (lors de la Fronde), ce qui accroît considérablement sa fragilité, d'autant plus que les réparations sont réalisées avec des matériaux disparates ; d'ailleurs l'arche reconstruite s'écroule en 1655 et est remplacée par une arche en bois. Des bacs sont même remis en service pour éviter de dégrader davantage le pont. Au 18e siècle, les réparations s'accumulent et débouchent sur l'installation d'arches provisoires en bois. Des projets de restauration de grande ampleur voient le jour et sont réalisés lors des premières décennies du 19e siècle : le tablier est élargi, et le tablier de la première arche en bois est à nouveau réparé ; l'état de l'édifice ne s'améliore pas vraiment, d'autant plus que le Grand pont subit en même temps des travaux bien plus importants. Dans la seconde moitié du 19e siècle, la première arche en bois est enfin remplacée par une arche en pierre, tandis que des opérations de refouillement rejointoiement sont réalisées. Les travaux d'entretien se multiplient au 20e siècle, en raison de la circulation accrue avec les passages des automobiles et du tramway. Mais le Petit Pont échappe au dynamitage pendant la Seconde Guerre mondiale. Les berges sont ensuite réaménagées.