Dès le IXe siècle, pour contrer les invasions vikings, la plus grande île de L’Isle-Adam, qui prendra plus tard le nom d’île du Prieuré, est dotée d’une motte féodale. Pièce maîtresse du système défensif du fleuve Oise et initialement érigée en bois, elle est à de nombreuses reprises reconstruite.

C’est probablement Robert Le Pieux qui confie au seigneur Adam, apparenté à la famille capétienne, cette place-forte destinée à protéger les frontières ouest du royaume de France contre la poussée des Normands. Son successeur, Adam II de l’Isle, la remplace par un château fort en pierre, comme en atteste une charte de 1092. Sa famille, à l’origine du toponyme de la ville, conserve le domaine jusqu’en 1364, date à laquelle il est acheté par Pierre de Villiers, avant de devenir la propriété du connétable Anne de Montmorency en 1527. Ce dernier fait démolir l’ensemble des éléments de fortification (à l’exception de la grosse tour) afin de construire un château de style Renaissance. Les Bourbon-Condé héritent du fief, avant qu’il ne passe aux Conti. C’est sous leur égide qu’au XVIIIe siècle, le château prend une physionomie classique, avec un corps principal encadré de deux pavillons et des balustrades clôturant une cour surplombant l’Oise. A la Révolution, il est réquisitionné comme bien d’émigré puis vendu et démonté pierre à pierre en 1812.

L’actuel “château Conti” est donc une belle demeure élevée durant la seconde moitié du XIXe siècle. Le 12 mai 1821, Mme Papon, veuve de Christophe Ducamp, achète les terrains de Parmain ainsi que toute l'île du Prieuré. Elle fait d'abord construire une belle demeure à Parmain (1828), mais cette propriété est abîmée en 1846 par l'arrivée du chemin de fer. Son fils, Alfred Ducamp entreprend alors vers 1857 la construction à la pointe de l'île du Prieuré d'un "château" en brique et pierre de style Louis XIII.

Il est incendié par les Prussiens lors de la guerre de 1870, qui démolissent l'un des pavillons de conciergerie qui avait échappé aux destructions du Directoire. Reconstruit à l'identique après le conflit, il sert d'hôtel puis de maison de repos. Après 1918, un restaurant à l'enseigne du "Royal Conti" s'y installe puis le domaine est laissé à l'abandon.

Après bien des vicissitudes, il est acquis par la commune de L'Isle-Adam en 2005, qui y engage un profond travail de réhabilitation. La demeure accueille aujourd'hui divers services municipaux, dont ceux du Musée d’art et d’histoire Louis- Senlecq.