Mgr Affre prit conscience en 1847 de l’urgence d’ouvrir un lieu de culte destiné aux presque 6000 artisans du bois de langue allemande, venus s’installer près du Faubourg Saint-Antoine ; dès son arrivée à Paris en 1848, le Père jésuite J.-J. Chable établit une mission, l’Oeuvre de Saint-Joseph pour les Allemands, rue de Meaux à La Villette. Puis le Père Chable acheta en 1850 le terrain actuel « à proximité de toutes les voies de communication avec l’Allemagne », sur lequel il fit construire par des charpentiers allemands une chapelle en bois appelée Saint-Joseph-des-Allemands, consacrée par Mgr Sibour le 28 septembre 1851 ; il entreprit également la construction de deux écoles de langue allemande pour garçons et filles, d’un asile pour les jeunes filles sans travail et d’un petit hôpital. Avec des subventions provenant du Ministère de l’Instruction publique, de l’empereur François-Joseph d’Autriche (5000 f par an) et de la Ville de Paris qui acquit l’ensemble en 1859, l’église actuelle, de style néo-gothique, fut érigée en 1865-1866 d’après les plans de L. Douillard et inaugurée le 22 août 1866.

L’empereur François-Joseph, venu à Paris en 1867 visiter l’Exposition universelle, fit don des trois verrières hautes du chœur consacrées à ses saints patrons ; elles sont l’œuvre de C. Geyling, un peintre décorateur autrichien formé à la Manufacture royale de Munich et installé à Vienne avant 1845, qui participa à l’Exposition universelle à Paris et put ainsi honorer quelques commandes en France. Les armes des Habsbourg-Lorraine figurent au pied de Saint Joseph. Les quatre verrières ornementales de couleur qui complètent l’ensemble du massif oriental, furent offertes en 1868-1870 par les congrégations mariales de la Mission, communautés féminines du côté gauche du chœur et masculines du côté droit, comme l’attestent les inscriptions en lettres gothiques allemandes portées sur les baies du triforium du chœur. Si les bombardements de 1871 n’ont pas épargné l’une des verrières du chevet, remplacée en 1875 aux frais de l’ambassade d’Autriche, l’église Saint-Joseph n’a subi aucun dommage en 1880 et en 1901, par protection de l’empereur François-Joseph. Après que les Jésuites eurent quitté leur résidence, leur chapelle fut rachetée le 22 janvier 1910 par le Prince Max de Saxe ; elle resta ouverte durant la Première guerre mondiale, avant que ses biens ne soient mis sous séquestre jusqu’à l’année 1924. Les Prêtres du Sacré-Cœur de Saint-Quentin, subventionnés par le Luxembourg, remplacèrent les Jésuites ; en 1958, Saint-Joseph-des-Allemands devint Saint-Joseph-Artisan, et ce n’est qu’en 1990 que la paroisse, offerte par le Luxembourg, rejoignit le diocèse de Paris.