Probablement fondé au milieu du XVe siècle pour servir de rendez-vous de chasse et de demeure à l’officier de Bigre, le château de By fut par la suite la résidence d’Henry de Bye, commandeur de l’ordre de Saint-Jean-de-Latran. Reconstruit au début du XVIIe siècle, il fut ensuite la propriété de Jean Maximilien Leleu et sa femme, puis de leurs neveux messieurs Buron et Gérard. Racheté par Pierre Michelin et sa femme, il fut légué à Louis-Jacques Fabre qui le transmit à son fils Louis Jules Michel Fabre. Ce dernier le vendit pour 50.000 francs à l’artiste Rosa Bonheur le 9 août 1859.
Rosa Bonheur, première femme à acheter un bien immobilier avec le fruit de son travail, fit rénover et moderniser le château, notamment en faisant construire un grand atelier par Jules Saulnier, architecte industriel français auteur du « moulin Saulnier » à Noisiel. Elle prit la décision de s’installer à l’écart de Paris après avoir eu plusieurs ateliers dans le quartier du Luxembourg (rue de l’Ouest, puis rue Madame, et enfin rue d’Assas), afin de se rapprocher de la nature et s’éloigner de l’urbanisation rapide de Paris à cette époque. Elle souhaitait également s’isoler et fuir la foule d’admirateurs et de curieux qui se pressaient dans son atelier de la rue d’Assas. Enfin, la construction d’un atelier à Thomery lui permettait d’avoir plus d’espace pour réaliser ses grandes toiles, mais aussi d’accueillir des animaux sur sa propriété du château de By. Cette demeure de Thomery fut proposée par son ami le comte d’Armaillé, dont les beaux-parents possédaient eux-mêmes le château de La Rivière dans la même commune. Thomery présentait l’avantage d’être une ville prospère et bien desservie. En effet, une gare de fret et de voyageurs avait été installée dès 1857, permettait une liaison régulière avec Paris. Cet avantage permit à Rosa Bonheur de garder une certaine proximité avec Paris. Elle y conserva un pied-à-terre proche de l’école de dessin de la rue Dupuytren dont elle était la directrice (d’abord au n°24 de la vieille rue Hautefeuille puis au n°7 de la rue Gay-Lussac).
Rosa Bonheur emménagea dans le château de By, rénové par Jules Saulnier, le 12 juin 1860. Des années plus tard, en 1898, elle fit appel à l’architecte Alexandre Jacob pour bâtir à By un atelier qu’elle souhaitait partager avec Anna Klumpke. A sa mort en 1899, elle légua sa maison-atelier à Anna Klumpke.
Le château de By fut ensuite transformé en hôpital privé franco-américain pour soldats blessés pendant la guerre de 1914-1918. Durant la Seconde Guerre mondiale, entre 1940 et 1941, il fut occupé par des réfugiés puis des soldats français et allemands, avant d’être le lieu de repli d’un asile de vieillards.
Labellisé « Maison des illustres » en 2011, le château de By a été acquis en 2017 par Katherine Brault. L’atelier a fait l’objet d’une réhabilitation et d’une mise au norme récente, dans le cadre d’un projet culturel, économique et touristique. En 2019, la maison-atelier a été sélectionnée pour percevoir des fonds engendrés par le Loto du Patrimoine pour sa restauration.