Selon un récit de fondation conservé aux Archives départementales, les frères mineurs de l'ordre de Saint François arrivèrent à Mantes en 1233. Plusieurs documents manuscrits indiquent la fondation du couvent, soit peu après cette date par le capitaine Nicolas le Chat et Robert Catua, soit en mars 1251 par Robert le Chat. Un état du couvent et des rentes en 1442 précise que la fondation s'accompagne de la construction d'un petit logement et d'une chapelle dédiée à la Sainte Trinité. Puis le couvent s'enrichit de dons multiples, titres de propriété ou legs, aux 13e et 14e siècles. En janvier 1292, les époux Jean de Ghennen (ou de Reims), bourgeois de Mantes et son épouse Endeline confient, par charité, dans leur testament, une partie de leur propriété et de leur vigne. Le couvent est décrit comme un clos de deux arpents et demi de vignes, fermé de murailles, une maison et un jardin potager. Un plan de Mantes daté de 1622 montre l'enceinte quadrangulaire du couvent avec sa chapelle. Sur son terrain on trouve mention de la Bove, carrière ou cave. La tradition témoigne de la présence de Saint-Bonaventure. Il aurait écrit durant son séjour la vie de saint François d'Assise. Une chapelle lui est dédiée. En mauvais état en 1699, elle est restaurée grâce à René Barquillet, seigneur de Dhequeville, qui verse trois cents livres. Après la Révolution, les effets mobiliers et immobiliers du couvent sont vendus. Le 17 mai 1790, suite à une visite de Jean Massé, curé et maire de la ville de Mantes, accompagné d'officiers municipaux, du procureur de la commune Jean Vivenel et d'un greffier, un procès-verbal est établi. Il donne des informations sur le "bâtiment des Cordeliers de Saint Bonaventure de Mantes" et établit un inventaire des biens. On peut citer : "(...) La maison composée de deux ailes de bâtiments et à deux étages contenant au rez-de-chaussée une infirmerie, une petite salle, une cuisine, une dépendance. Le réfectoire et la sacristie, de l'autre part au rez-de-chaussée un grand bucher et une écurie. Au premier étage dix chambres, deux petites de domestique (…) un petit grenier. Au second, dix chambres et un petit garde meuble. Dans le nombre des chambres il y en a en a huit à cheminées. (...) L'église est hissée à la hauteur de dix pieds ; Dans tout son contour ainsi que la chapelle de St Bonaventure une grille de fer qui sépare le chœur de la nef et une autre grille qui sépare la nef d'une chapelle latérale. Un lutrin en cuivre, deux cloches dont une pesant environ trois cent kilos et l'autre plus faible, et un petit buffet d'orgue".

D'après ce procès verbal, douze frères habitent alors le couvent. Un extrait du registre de la délibération du directoire du district de Mantes du 18 juin 1792 indique que l'adjudication est faite au profit des Sieurs Denis Apoil, fripier, François Delahaye, charpentier, Nicolas Gresset, serrurier, Nicolas François Rainville, demeurant à Mantes. Entre le 17 et le 19 juillet 1792, une vente au plus offrant et dernier enchérisseur est organisée pour les biens mobiliers. Les ornements, le linge d'église et l'argenterie doivent être néanmoins remis par les religieux à la municipalité qui les déposera au secrétariat des districts. Il est probable que le bâtiment du couvent et son enceinte aient ensuite servi de carrière pour l'édification de bâtiments alentour.

D'après les matrices cadastrales, le domaine est transmis en 1828 par François Bonneau, salpêtrier à Mantes, à Charles Duchesne propriétaire à Mantes-la-Ville. Ce dernier cède ensuite en 1879 les Cordeliers à la vicomtesse Marie Madeleine Valentine du Bouzet, épouse d'Alexandre Jules Alphonse du Bouzet, contrôleur principal à Mantes. Elle est la fille de Jules Rey, ingénieur, et nièce d'Henri Rivière, militaire et écrivain. C'est à cette époque que plusieurs dessins et lithographies de Maugendre représentant la région de Mantes sont diffusés. L’une de ces œuvres donne à voir le bâtiment des Cordeliers réhabilité. Le bâtiment imposant, formé d'un corps principal rectangulaire avec toiture à longs pans et d'une maison de gardien à l'entrée de la propriété, compte d'après l'image neuf travées (la matrice cadastrale indique quant à elle trente-trois portes et fenêtres). Mlle Antoinette du Bouzet, héritière, y est encore présente lors du recensement de 1926 ; elle accueille alors dans sa propriété les Sœurs bénédictines qui venaient de vendre le bâtiment de leur couvent boulevard Victor Duhamel.

Mlle du Bouzet vendit sa propriété à une société immobilière avant que l'hôpital de Mantes ne la rachète en 1952 pour en faire un hospice, malgré un état d'abandon important et des dommages de guerre. À partir de 1955, la ville de Mantes-la-Jolie fait plusieurs tentatives pour racheter l'ensemble afin d'y édifier une auberge de jeunesse. La délibération du 8 avril 1957, atteste que la commission administrative de l'hôpital a consenti à céder la propriété des Cordeliers au prix de 6 800 000 F (prix fixé par l'administration des domaines), tandis que les travaux d'aménagement sont laissés à l'initiative de la Fédération Nationale des Auberges de Jeunesse. Les architectes Marcel David et Marcel Gojard sont désignés pour mener le chantier qui sera réceptionné définitivement en 1967. Aujourd'hui le site est un centre municipal d'arts plastiques et d'arts visuels Abel Lauvray, du nom d'un peintre formé auprès de Claude Monet. Au-delà des cours, des artistes en résidence mènent chaque année des projets qui peuvent impliquer les différents services de la ville. Un cellier indépendant sous le coteau est encore conservé et accueille depuis 2005 l’association viticole du Clos des vieilles murailles.