Le site porte au XVIe siècle le nom de domaine de Breban. Le premier plan figuré de Draveil (1650) montre un corps de logis encadré de deux pavillons et flanqué d'une aile, faisant face à une quadruple rangée d'ormes, et voisin d'une ferme. Sur le plan de 1708, la situation et la superficie du domaine restent inchangés, mais des bâtiments nouveaux ont agrandi le logis initial. Le domaine appartient alors à François Lemaistre, conseiller au Parlement de Paris, qui le 13 août 1720, le cède au fermier général Marin de La Haye. Celui-ci achète encore diverses terres (fiefs de Marcenoux et des religieuses de Saint-Louis de Poissy), portant ainsi l'ensemble à 53 ha d'un seul tenant en 1750 (contre 12 ha en 1720). Le 14 avril 1750 Marin de La Haye succède aux Dames de Poissy comme seigneur de Draveil ; son domaine couvre alors les 2/3 du territoire communal. Dix ans plus tôt, vers 1740, il fait reconstruire le château seigneurial, en réutilisant sans doute une partie des anciennes maçonneries. Les nouveaux bâtiments sont distribués autour de cinq cours et entourés de dépendances agricoles. Le parc est remodelé pour renforcer la perspective qui descend vers la Seine. L'allée d'honneur est plantée de tilleuls et prolongée jusqu'au Gué de la Folie, autre propriété de Marin de La Haye. Entre 1779 et 1789, une grande partie des communs qui encadrent la cour d'honneur et l'avant-cour sont démolis, la vente des matériaux permettant aux héritiers de régler la succession de Mme de La Haye. En 1821, le domaine est adjugé à William Courtenay, comte de Devon, qui fait placer ses armes au-dessus de la grille de la cour d'honneur. La famille du négociant Laveissière est propriétaire du château de 1882 à 1911 ; une galerie en rez-de-chaussée couverte d'une terrasse est construite entre les deux ailes de la façade est, ainsi qu'une nouvelle orangerie en bordure de la cour d'honneur. En 1911 la société coopérative Paris-Jardins achète le domaine pour y créer un lotissement d'habitations à bon marché sur le modèle des cités-jardins anglaises. La direction des travaux est confiée à l'architecte Jean Walter, qui dresse le plan d'ensemble du lotissement, réparti en 311 lots. Le château devient alors le siège des activités administratives, culturelles et sociales de Paris-Jardins. En 1920 les Péjistes vendent à la commune l'allée des Tilleuls plantée dans l'axe du château (actuelle av. Marcelin-Berthelot). En 1928, en vue d'élargir la route de Juvisy, le mur sud (en bordure du boulevard du Général-de-Gaulle) est démoli sur une longueur de 470 m et reconstruit à ses frais par la municipalité de Draveil, Paris-Jardins lui cédant gratuitement la bande de terrain nécessaire. Entre 1926 et 1930, les deux murs de la cour d'honneur et les communs subsistants sont détruits pour permettre la création de nouveaux lots. En 1938 l'orangerie mise en location est transformée en cinéma. Le premier étage du château abrite aujourd'hui des logements réservés aux sociétaires âgés.