Andrésy est dans le chapitre Notre-Dame de Paris dès le 9e siècle. Mais le château principal manoir et maison seigneuriale du fief d'Andrésy appartenait à la famille de l'Isle, seigneur en partie. Ce n'est qu'en 1680 que les héritiers de Joachim de l'Isle vendent cette ferme seigneuriale au Chapitre qui la garde désormais jusqu'à la Révolution. C'est bien là que se trouvait le siège de la seigneurie puisqu'en 1748 il est fait mention de la construction d'un auditoire dans l'enceinte de la ferme. Son plan général est connu par le plan de 1702 et surtout par un plan de distribution non daté des Archives nationales. On sait également qu'elle était exploitée par le fermier Thomassin à la veille de la Révolution. Elle a été vendue comme bien national le 12 vendémiaire an IV à Jean Louis Durupt-Boileau, chef de bureau au département de la Seine. Il la revend aussitôt à Jean Destreaux (28 frimaire) puis c'est Pierre Joseph Geoffroy, négociant patenté, qui l'achète le 30 germinal An V. Pour la payer ce dernier emprunte le même jour la somme de 73840 francs à Jean Lanchère père, entrepreneur des équipages d'artillerie. En 1824, à la mort de Geoffroy, c'est sa fille la comtesse Lepic qui en hérite. Puis à la mort de cette dernière en 1863 la propriété passe entre les mains de son fils aîné Louis Joseph Napoléon Lepic. On parle encore de bâtiments de la ferme. Le bâtiment le plus long est transformé dans le courant du 19e siècle. Seule subsiste la tour d'escalier dite colombier qui figure sur le plan, au milieu d'une résidence contemporaine.