L'histoire du Petit Montrouge s'inscrit dans celle de Montrouge dont le nom apparaît pour la première fois en 1194 sous la forme latine de "Rubeo Monte", très probablement en relation avec la couleur de la terre argileuse extraite du sous sol. Le village de Montrouge, bien que longé par une voie romaine, n'est pas attesté avant l'époque moderne et correspond, avant la Révolution, à un territoire agreste qui s'étend depuis Paris jusqu'au bourg de Vanves et au domaine du marquis de Châteauneuf, seigneur de Montrouge. Un château fut élevé en 1630 pour Charles de Laubépine. Détruit vers 1815, le tracé géométrique de son parc subsista jusqu'au XIXe siècle. A cette époque, ce territoire se caractérise par l'importance des dessertes qui le traversent. L'antique route d'Orléans, que prolongeait l'actuelle rue de la Tombe-Issoire se voit dès 1730 doublée d'une voie nouvelle (la route neuve d'Orléans, devenue avenue de Denfert-Rochereau, puis avenue du Général-Leclerc). Sur cette voie, se greffe alors la Chaussée du Maine, crée de toutes pièces depuis Paris, formant désormais un carrefour qui va structurer de nouvelles formes de constructions, affranchies des implantations anciennes. Deux foyers d'agglomérations vont alors se développer à Montrouge. Au sud, le Grand Montrouge, autour de son château et de son église -qui constitue le lieu de peuplement historique. Au nord, le Petit Montrouge, à mi-chemin de Paris et du chef lieu paroissial, où existe depuis le Moyen Age une intense activité de moulins à vent et de carrières de pierre. La vocation agricole du territoire, entre cultures céréalières et cultures maraîchères, trouve un débouché naturel dans sa proximité avec Paris. Cette pratique culturale ancienne se lit au travers d'un parcellaire aux larges mailles, typiques des terres emblavées. D'autre part, la toponymie du territoire conserve la mémoire de la présence des nombreux moulins à vent.

Situé aux franges de la ville, ce territoire -comme d'autres villages limitrophes- constitue depuis longtemps un lieu d'implantation pour des communautés religieuses et des établissement de santé et de charité (ainsi la Maison Royale de Santé ouverte en 1780, devenue Hospice de la Rochefoucauld en 1821).

En 1785, l'érection du Mur des fermiers Généraux provoque un mouvement de construction concentré aux abords de l'enceinte et au long des axes qui la franchissent (ici, aux barrières d'Enfer), où subsistent les deux pavillons érigés par Claude-Nicolas Ledoux). Le territoire situé de l'autre côté de cette barrière d'octroi est formé de terres essentiellement agricoles qui attirent une population désireuse d'échapper à la fiscalité parisienne, et qui en s'y installant va progressivement le transformer en faubourg rural. De nombreux commerces, des auberges, des guinguettes proposent aux Parisiens et à la population locale des divertissements qui échappent à la fiscalité parisienne.

En 1790, la paroisse de Montrouge devient officiellement une commune. L'axe routier qui traverse ce territoire favorise une forme d'urbanisation radiale , une densification linéaire qui traverse Montrouge. Le long de cet axe s'organise un parcellaire "en drapeau" permettant un accès à la voie, selon une logique commerciale destinée à capter une clientèle en transit.

Avec la Restauration, le bourg du Grand Montrouge évolue, Louis XVIII fait construire l'église Saint-Jacques-Saint-Christophe au cœur du bourg et fermer le cimetière attenant à l'ancienne église, libérant un espace pour développement du centre-ville. La destruction du Mur des Fermiers Généraux est suivie de la construction de vastes boulevards, tandis qu'aux alentours des anciennes barrières, la construction se densifie. L'ouverture en 1824 du cimetière Montparnasse ne freine pas la croissance du Petit Montrouge qui concurrence désormais sa commune d'origine surtout peuplée d'agriculteurs, de meuniers, de jardiniers, de carriers et d'artisans. Insensiblement, le centre de gravité démographique se déplace au nord, particulièrement entre l'avenue du Maine et celle d'Orléans, mais aussi le long des axes anciens dont les espaces intermédiaires se densifient. De nombreuses rues transversales sont alors ouvertes : Brézin (1838), Montyon (1838, rebaptisée rue Mouton Duvernet en 1864), Daguerre (1840)...Trop loin de leur paroisse et de leur mairie, les nouveaux habitants envisagent alors d'établir des services publics de proximité.

En 1840, à l'est du Petit Montrouge est inaugurée la ligne de Sceaux dont "l'embarcadère" en hémicycle déploie sa façade place d'Enfer. Au sud, la construction des fortifications, dites de Thiers, sépare brutalement Grand et Petit Montrouge qui restent cependant placés sous la même administration communale. Cette barrière de pierre se double dans Paris même d'un fossé intérieur creusé pour le chemin de fer de petite ceinture en 1851, qui doit permettre le ravitaillement en cas de siège. Cette tranchée ferroviaire qui s'ajoute à l'enceinte constitue un obstacle insurmontable à l'unité montrougienne.

Dès lors, le Petit Montrouge connaît une extension démographique prodigieuse, favorisé par les débuts de l’industrialisation. Après 1830, la formation des nouveaux faubourgs s'opère en se rapprochant de Paris, au détriment de l'ancien village. Au milieu du XIXe siècle, 7000 habitants résident au Petit Montrouge, contre 3000 au Grand Montrouge.

Pour administrer cette nouvelle population, la mairie décide en 1852 de construire un nouvel hôtel de ville, enter l'avenue du Maine, la rue Boulard et la rue Brézin. Cette mairie s'entoure d'abord d'écoles primaires, puis d'un marché couvert. L'espace ainsi créé forme un ensemble administratif. Jusqu'en 1850, le Petit Montrouge se construit dans sa partie septentrionale (entre les boulevards Saint-Jacques et Montparnasse et la future rue d'Alésia), mais plus à l'ouest qu'à l'est.

Le 1er janvier 1860, le rattachement du Petit Montrouge à Paris, dont il forme dès lors le XIVe arrondissement, va s'accompagner d'une politique visant à renforcer l'unité du territoire parisien par la construction d'aménagements et d'équipements urbains, accentuant encore une différence de traitement avec le Grand Montrouge (qui forme désormais toute la commune de Montrouge). Le préfet Haussmann décide de composer avec la place pré existante de la mairie, qui est embellie et transformée. L'hôtel de ville - promu mairie du XIVe arrondissement-, et les écoles sont agrandis, et un square est créé, le tout desservi par un réseau de voies d'accès commode. Le projet d'urbanisme haussmannien préside à la construction, en 1860, par l'architecte de l'arrondissement Emile Vaudremer, de l'église Saint-Pierre de Montrouge. Cet édifice remplit sur la place Victor-Basch, à l'angle de l'avenue du Maine et celle d'Orléans, la double fonction de signal et d'équipement cultuel du nouvel arrondissement. L'urbanisme haussmannien s'applique également à l'élargissement de la rue d'Alésia ( ancien Chemin des bœufs), prolongée de 1868 à 1870 jusqu'à l'avenue Reille et se prolongeant dans le XIIIe arrondissement par l'avenue de Vouillé, et bordée d'immeubles de pierre aux façades régulières. Toutefois cette tentative de produire un ensemble immobilier cohérent concernera surtout la moitié sud de l'arrondissement, la partie nord de l'avenue d'Orléans présentant un paysage urbain plus modeste.

A la fin du XIXè siècle, le XIVe arrondissement accueille une part importante de l'accroissement démographique de Paris : passant de 16 000 habitants en 1860 à 145 000 en 1914. La population de provinciaux d'origine rurale qui rallie l'arrondissement attirée par l'industrialisation des faubourgs se transforme rapidement en population ouvrière entassée dans des habitations très sommaires, voire insalubres. Après cette première vague de peuplement consécutive à l'édification d'un centre-ville et à l'ouverture de voies nouvelles, le quartier de la mairie du XIVe arrondissement stagne jusqu’au sursaut immobilier qui vers 1900 se traduit par la construction d'immeubles cossus et d'opérations immobilières, à l'image de celle de la rue Ernest-Cresson, percée en 1906 pour désenclaver l'hôtel de ville et le relier à l'avenue d'Orléans.