Il est probable qu'existait à Mantes au Xe siècle une motte castrale à l'emplacement le plus élevé de la ville où se trouve aujourd'hui une maison appelée la Motte. La présence d'un château est attestée à Mantes vers 1006 par une charte de Saint-Père de Chartres dans laquelle Gauthier II, comte du Vexin parle de "nostrum castellum, quod vulgo dicitur Medanta". Les chroniques de Mantes rapportent que les premiers Capétiens appréciaient beaucoup le séjour de Mantes "pour la bonté de l'air, la beauté de la ville et du château" mais aussi pour la chasse dans la plaine de Mantes jusqu'à Rosny. La ville jouait un rôle très important de sentinelle avancée face à la Normandie, d'où la fortification du pont et de la ville. Le château est décrit par un texte de Suger racontant son siège par Louis VI en 1108. Le texte précise que le roi après avoir pénétré dans le château assiégea la tour, probablement la tour de Gannes. Ce donjon, selon le chroniqueur Chrétien était un très ancien bâtiment ("le plus ancien monument de Mantes"). Philippe d'Evreux, roi de Navarre, vers 1328 fit construire un corps de logis donnant sur la rivière et au devant duquel il y avait une grande terrasse aboutissant à la chapelle adossée à la tour. En 1598 toutes les écuries sont reconstruites, à droite en rentrant dans la cour. Peu après, signe que le château n’est plus considéré comme une résidence royale, le roi y aurait établi une manufacture de draps et crêpes de soie désirant développer cette activité sous l’influence d’Olivier de Serres. Le succès de cette sériciculture ne dut pas être durable car on n’en trouve plus trace dans les chroniques de Mantes. Le destin du château est définitivement scellé lorsque Louis XIV augmente le nombre de ses gardes pour atteindre l’effectif de 1600 hommes divisés en 24 brigades, et demande aux villes d’Île-de-France de les loger pour les quartiers d’hiver. Mantes se voit attribuer deux brigades et demie puis, à la suite de ses protestations, une seule. Les chevaux étaient logés dans les écuries du château et les troupes chez l’habitant. Cela n’arrangea pas l’état du château qui était ouvert à tous les vents et peu entretenu. Ce mauvais état inquiétait en 1710 l’intendant, Bignon de Blanzy, qui en avait fait part au contrôleur général des finances lui demandant « d’y faire travailler, à moins qu’on ne prenne le parti d’abandonner entièrement ces bâtiments. Ils sont, entre autres choses, très utiles pour loger les chevaux des gardes du corps du roi qui sont envoyés[…] pour y passer le quartier d’hiver » . Cette inquiétude était justifiée car la tour de Gannes s’effondra en mai 1711. La tour de Gannes s'est effondrée en 1711. En 1719, selon la Chronique de Mantes, le château qui était en très mauvais état fut détruit sur ordre du Régent afin d'utiliser les matériaux pour construire des casernes pour loger les troupes en garnison. Mais ce projet n'aboutit pas et les casernes ne furent pas achevées. Le prince de Conti Louis François, nommé comte de Mantes en 1747 à la suite d’un échange avec le roi, devient donc propriétaire du "château", en réalité un corps de logis en rez-de-chaussée et une longue écurie. En 1777, il le loue à Charles Racine maître de la poste aux chevaux de Mantes. Dans ce bail un état des lieux du château est fait. Il est conservé aux Archives Nationales mais n'a pas pu être consulté. En revanche, un état des lieux réalisé en 1806 par l'architecte Jean-Marie Vivenel permet d'en reconstituer la distribution. Ce procès-verbal précise que les écuries étaient louées au maître de la poste aux chevaux mais que leur éloignement du centre de la ville et des rues de grand passage le fit abandonner par les maîtres de poste vers 1795. Sur l'état de section du cadastre napoléonien, le bâtiment appartient à René Marquès, propriétaire à Versailles.