Sein Vater war Eigentümer der Gabainschen Seiden- und Tapetenfabrik, die Gropius eigentlich übernehmen sollte. Deshalb absolvierte er eine Ausbildung am Berliner Gewerbeinstitut und legte 1847 das Feldmesserexamen ab. Doch Gropius entschied sich für das Baufach. 1855 bestand er erfolgreich die Baumeisterprüfung und lehrte zwischen 1856 und 1866 nebenberuflich an der Bauakademie. Im Jahre 1866 gründete er die Architektenfirma Gropius und Schmieden. Gropius war Mitglied des Senats der Akademie der Künste und leitete alle Kunstschulen in Preußen. 1866 wurde er Direktor der Kunstschule in Berlin. Er baute vorrangig öffentliche, gemeinnützige Gebäude, wie das Städtische Krankenhaus im Friedrichshain (1868–1874) und das Kunstgewerbemuseum (1877–1881, heute Martin-Gropius-Bau). Noch im Jahre 1880 legte er den Entwurf für das Gewandhaus in Leipzig vor. Durch seine Arbeiten nahm er maßgeblich Einfluß auf die Entwicklung der künftigen Architektur in Deutschland. Gropius wohnte (1859) in der Zimmerstraße 84/85. Sein Ehrengrab befindet sich auf dem Kirchhof der Dreifaltigkeitsgemeinde Kreuzberg, Baruther Straße.