Ce jardin public est créé sur l'emplacement de bâtiments à caractère industriel, l'ancienne gare de marchandises (6000m²) et l'usine du Rudoid (4300m²), marquant ainsi l'infléchissement de ce quartier de la gare vers une occupation plus hygiéniste et plus résidentielle. La municipalité a négocié le terrain de la gare avec la compagnie du nord et envisageait dans un premier temps un programme plus large englobant des HBM et un jardin : créer partout où cela est possible des espaces libres, de la verdure, de la vie, n'est ce pas là le devoir impérieux d'édiles [...] pour éviter les innocentes victimes des taudis (discours du maire AC O97 pour l'inauguration du square). Il est également prévu d'installer sur les lieux une salle d'éducation physique pour les enfants où le mouvement créateur est créateur de richesse corporelle et de bonheur (idem). Mais le projet étant financièrement trop ambitieux seul le square est finalement réalisé, conçu par l'architecte municipal R. Lavier et réalisé par les entreprises de travaux publics Jean Fayolles et fils de Soisy-sous-Montmorency. Square et terrain de jeu sont différenciés. Un bassin oblong forme une sorte de canal, une fontaine en granito poli et nuancé de bleu avec une pointe de nacre, des maçonneries de brique pleines et de briques de parement pour les parties décoratives, l'ensemble est caractéristique le l'art des jardins des années Trente. Le comité sportif Foch propose en 1937 de lancer une souscription pour perpétuer dans ce square la mémoire de Jean Mermoz l'illustre héros national disparu en mer le 7 décembre 1936 au cours de sa 24e traversée de l'Atlantique sud. L'inauguration a lieu le 14 juillet 1938 avec un discours du maire Patenôtre-Desnoyer sur la valeur morale et professionnelle du héros dont le regard lumineux et tendre enseignera désormais à nos concitoyens la beauté prodigieuse de l'union dans l'effort, et l'envoi plein de poésie de gerbes de fleurs lancées par des pilotes de l'aérodrome d'Enghien-Moisselles évoluant dans deux appareils au dessus du square en hommage au grand aviateur, alors tout récemment disparu. Le jardin a subi quelques altérations, notamment la disparition du bassin pour une aire de jeux pour enfants.