Le quartier des Martraits, dont l'origine du nom n'est justifiée dans aucune source historique ou orale, appartenait jusqu’en 1855 à la commune de Mantes-la-Ville. Le cadastre napoléonien de cette dernière (cadastre D de Saint-Lazare) nous indique que le plateau des Martraits, en 1812, était encore peu construit, à l’exception du Faubourg Saint-Lazare et du débouché de la rue des Martraits, près de la Seine avec le bâtiment de l’ancien couvent des Cordeliers situé le long de la rivière de la Vaucouleurs, aujourd’hui couverte (actuel quai ou promenade des Cordeliers). D’après l’état de section, les parcelles des Martraits étaient essentiellement des terres cultivables et des vignes, caractéristiques de l’économie locale jusqu’à la fin du 19e siècle.

Dans la première moitié du 19e siècle, Mantes demanda une extension de son territoire, historiquement circonscrit dans l’enceinte du rempart médiéval. Le 23 mai 1807 déjà, le conseil municipal proposait une nouvelle démarcation entre les deux communes intégrant le quartier St Pierre, du Faubourg Saint-Lazare, du cimetière et de l’hospice jusqu‘à la promenade des Cordeliers. Cette proposition fut catégoriquement rejetée par Mantes-la-Ville en vertu du caractère « immémorial et immuable » des limites du territoire entre les deux villes. Seuls le chemin de halage et la promenade des Cordeliers furent alors concédés à Mantes, par ordonnance du 6 janvier 1826.

Les 5 et 8 juillet 1854, le conseil municipal de Mantes-la-Ville s’opposa à nouveau à la demande d’extension faite par la ville de Mantes (délibération du conseil municipal de Mantes du 29 juin 1854), défendant qu’ « on ne voit pas pourquoi l’intérêt privé de la ville de Mantes l’emporterait sur l’intérêt privé de la commune de Mantes-la-Ville ». Cette demande était motivée notamment par la mise en place de la ligne de chemin de fer Paris-Rouen en 1843 qui avait coupé le territoire de Mantes-la -Ville en deux. Mantes réclamait ainsi la partie désormais coupée de Mantes-la-Ville. Le faible argument mathématique de la disproportion entre les deux communes était également avancé pour justifier l’accroissement du territoire de Mantes, auquel s’ajoutait enfin la nécessité de développement de la ville comparée aux villes voisines.

Malgré ce refus catégorique soutenu par les habitants les plus « imposés » de Mantes-la-Ville, le conseil d’arrondissement de Mantes ayant préconisé le 10 juillet 1854 le versement d’une indemnité à Mantes-la-Ville en réparation du préjudice, le 2 août 1855, une loi fut promulguée entérinant l’annexion de ce nouveau territoire de 28 hectares.

Cette opportunité permit immédiatement à la ville de se doter d'équipements. Après 1864, fut édifiée au bas de l'actuelle rue des Martraits, une usine à gaz pour l'éclairage public dans un premier temps, puis, en 1885, pour le gaz domestique (cette usine fut détruite par les bombardements de 1944). L’ouverture de la ligne de chemin de fer Paris-Rouen en 1843 avait impliqué de loger les nouveaux agents d’exploitation de la ligne. Mantes servit alors de réserve de main d’œuvre pour soutenir le développement des activités industrielles alentour. Parmi les activités nouvellement installées, la lutherie devint un élément identitaire fort de Mantes-la-Ville (Buffet-Crampon en 1850, Dolnet en 1880 et Selmer en 1919) et l’on trouve mention de luthiers résidant aux Martraits. La tuilerie Cauzard-Blanchard en 1860 ou encore la filature de coton Le Blan (1917-1918), les peintures Minsen, l’usine la Cellophane en 1926 sont des exemples du développement industriel du tournant du 20e siècle qui ont eu un impact dans la construction de logements à Mantes-la-Jolie.

À partir du début du 20e siècle, la phase d’urbanisation qui vise à développer le logement s'accélère. L’élection en 1908 d’Auguste Goust, ancien employé des chemins de fer de l’ouest, syndicaliste et franc-maçon, va donner une nouvelle impulsion à la construction de logements dans le quartier des Martraits. S’appuyant sur les lois de 1906, 1908 et 1912 sur les habitats à bon marché, Goust crée le premier office public d’habitations à bon marché de Mantes, approuvé par décret le 16 décembre 1920. C’est dans ce contexte que sont initiées à partir de 1920 la transformation de l’ancien couvent des Bénédictines en immeuble pour familles nombreuses et la création de la cité-jardins des Martraits sur une partie nouvellement lotie du parc de cet ancien couvent.

La seconde phase de développement urbain dans le quartier est liée aux reconstructions engagées dans le cadre du plan d’aménagement de la région parisienne, après la seconde guerre mondiale qui a frappé très durement Mantes-la-Jolie. La nécessité de reloger les sinistrés est alors urgente et vient se superposer au programme de réhabilitation des îlots insalubres engagé par la ville dès 1941. Les témoignages bâtis les plus emblématiques de cette période aux Martraits sont la résidence du Bouzet (1955), le groupe des Cordeliers (1957), opérations d’accession à la propriété pilotées par les offices HLM et des sociétés de construction à but coopératif et social. La deuxième partie du 20e siècle voit le développement routier de la rocade Est de Limay (D983) en bordure Sud des Martraits et la création en 1993 d'un nouveau pont reliant Limay. C'est dans cette partie du quartier que se répartissent les habitations les plus récentes, dont un ensemble d'immeubles rue du Coteau rompant avec le paysage pavillonnaire des lieux.