Selon la tradition, le général napoléonien Louis Lepic se serait installé définitivement dans cette maison à partir de sa mise en retraite en 1815. Mais en réalité il s'est installé à Maurecourt. En fait la propriété appartenait à son beau-père Pierre-Joseph Geoffroy. La ferme seigneuriale a été acquise comme bien national le 12 vendémaire an IV à Jean Louis Durupt Boileau qui l'a aussitôt revendue le 28 frimaire an IV à Jean Antoine Destreaux, habitant à Versailles, lequel la vend le 30 germinal an V à Pierre-Joseph Geoffroy, négociant, et à son épouse, Catherine Antoinette Damesme. Pour faire cette acquisition payée 70 000 francs en numéraire le négociant et sa femme empruntent 73 840 francs par devant le notaire. A la mort de Geoffroy (8 juin 1824), c'est sa fille unique Joséphine Félicité Geoffroy, comtesse Lepic, qui hérite. Un plan-masse de cette année montre que l'ensemble de la ferme seigneuriale n'avait pas encore été transformé. Lepic meurt le 7 janvier 1827. A la mort de la comtesse, en 1863, elle a deux fils survivants, Louis Joseph Napoléon, comte Lepic et Jacques Félix Auguste, vicomte Lepic qui sont ses héritiers. C'est le comte qui hérite du château (ainsi qualifié mais cette dénomination est barrée sur l'inventaire après décès). On ne sait pas quand l'ancienne ferme avait été transformée en la maison de notable qui est décrite dans la succession de la comtesse. Dans cette dernière on parle d'une maison d'habitation dite château (barré) ferme d'Andrésy.et les bâtiments de la ferme d'Andrésy, potager, terrain et parc Anglais. Elle s'étend de la route qui longe la Seine au chemin des Coutures et du Parc à la rue du Moussel, c'est dire qu'en 1863 la propriété n'est pas encore divisée. En 1864, un an après avoir hérité du château, Louis Napoléon Lepic y fait des agrandissements qui sont attestés par une déclaration d'augmentation de construction. Selon les matrices cadastrales, Ludovic Napoléon Lepic, le fils du comte, est propriétaire de la ferme du Moussel en 1865 et du château en 1867. Il loue à bail la propriété en 1870 à M. Bernard, en se réservant un petit pavillon et un atelier. Trois ans après la mort de son père, en 1878 Ludovic fait donation du château et de la ferme à sa mère Louise Rosalie Faure contre le paiement de ses dettes. Un plan de 1894 (donc postérieur d'un an à la mort de Louise Faure) porte le tracé de la rue d'Eylau qui scinde en deux la propriété définitivement. Le château est encore entier. Il est coupé en deux maisons distinctes avant 1899 (comme le montre la photographie de l'instituteur). Cette photographie montre aussi que la maison est en brique est pierre et a été enduite postérieurement.