En 1936, le maire de Pantin Charles Auray (1879-1938), grand bâtisseur, profite de la construction d’une usine de pompage et de traitement des eaux pour confier à son fils, également prénommé Charles (1912-2003), la création de la future piscine municipale, qui bénéficie ainsi d’une eau chauffée à 26 degrés.

La piscine s’inscrit par ailleurs dans la politique sociale en faveur de la population ouvrière de Charles Auray, soucieux d’équiper la ville en équipements collectifs et éducatifs. La piscine occupe ainsi le centre d’un vaste complexe sportif, à proximité directe des écoles.

Accompagné de l’ingénieur Jean Molinié, le jeune architecte de 24 ans imagine un édifice en béton armé sommé d’une verrière zénithale couvrant le bassin, fait rare dans une commune si modeste. L’organisation des façades en larges bandes horizontales, les hublots et l’avant-corps massif semblent rattacher la piscine aux derniers feux du « style paquebot ». Mais les volumes très géométriques aux arêtes vives, l’absence d’ornement et le revêtement de briques rouges des comptoirs tuiliers du Nord la rapprochent davantage du Style international dans la lignée de Walter Gropius.

Le bâtiment abrite un bassin aux normes de compétition (33 mètres) entouré de coursives desservant 254 cabines et réparties sur deux niveaux, une salle de gymnastique ainsi qu’un balcon pour les spectateurs. Inaugurée en 1937, cette piscine se signale par ses dispositions novatrices, annoncées par celles des piscines parisiennes construites à la même époque (Molitor, Pontoise). Le bassin et les murs sont revêtus de carreaux de faïence blanche avec semis de mosaïque bleue.

En 1997, la piscine est inscrite au titre des Monuments historiques. Rénové de 2020 à 2022, le bâtiment est doté d’un nouveau bassin de 25 mètres. Un conservatoire de musique a été construit à côté. À l’occasion de cette réhabilitation, la piscine, dénommée piscine Leclerc, est rebaptisée Alice Milliat (1884-1957) du nom de la nageuse et fondatrice de la Fédération sportive féminine internationale, figure de la lutte pour l’accès des femmes aux Jeux Olympiques.