Cette maison de campagne, qui n'est pas l'ancien château de la famille de l'Isle, appartenait en 1728 à Marc Antoine Pourroy, négociant à Paris qui l'a vendu à Charles François Michel, écuyer. C'est sans doute lui qui a aménagé le jardin régulier, aujourd'hui disparu, qui se trouvait sur l'Île Nancy, en face. En 1743 elle appartient à Louis Jean Baptiste Matignon qui la lègue à sa mort en 1747. Elle a été achetée en 1748 au marquis de Matignon par Marie-Louise de Rohan-Soubise, comtesse de Marsan, gouvernante des Enfants de France. Elle l'a donnée en 1781 à sa nièce, la princesse Louise-Adélaïde de Bourbon-Condé, abbesse de Remiremont. La propriété est acquise en 1788 par Claude Sébastien Tariel Duplessis, avocat au Parlement, agent des affaires du duc d'Orléans, qui le revend l'année suivante. Confisqué en l'an II, il est vendu à François Joseph Mouchy. En 1817, la veuve de Monsieur Mouchy le vend à Pierre Joseph Geoffroy. Sa fille, la comtesse Lepic en hérite en 1825 et le vend au colonel Lepic, son beau-frère. Il reste dans la famille Lepic jusqu'en 1837. Il est acheté en 1846 par Jacques Louis Lemaire, manufacturier qui y installe une manufacture de jouets qu'il vend en 1866 à Armand Blanchon. C'est ce dernier qui vend le château à la municipalité d'Andrésy en 1875 pour y transférer la mairie, l'école de garçons et le presbytère. L'édifice est devenu uniquement école en 1947 quand la mairie a été transférée dans la villa des Tilleuls. C'est actuellement la bibliothèque Saint-Exupéry.