Nach siebenjährigem Besuch namhafter Bildhauerwerkstätten wurde Rauch 1797 Kammerdiener König Friedrich Wilhelms II. von Preußen, trat jedoch nach dessen Tod noch im selben Jahr in die Dienste der Königin Luise. Seit 1802 wurde er in Berlin bei Johann Gottfried Schadow an der Akademie der Künste ausgebildet. In den Jahren 1804-1811 lebte Rauch in Italien und hatte dort enge Kontakte mit B. Thorvaldsen, A. Canova und Familie Wilhelm von Humboldt. 1811 nach Berlin berufen, wurde er Mitglied der Kunstakademie, und es begann in gemeinsamer Arbeit mit der Werkstatt C. F. Tiecks eine überaus fruchtbare Schaffenszeit. So entstanden der berühmte Marmorsarkophag der schlummernden Gestalt der Königin Luise (1811-1815), die Goethebüste in Marmor (1820/21), die Marmorbüsten für die Walhalla bei Regensburg, die Statuen der preußischen Generale Scharnhorst, Bülow (1819-1822) und von Blücher (1826). Weitere Werke sind die Statuen von Gneisenau, Yorck, des Königs Maximilian I., Joseph von Bayern und des Zaren Alexander I. von Rußland. Das größte Werk seines bildhauerischen Schaffens wurde die in Erz gegossene Reiterstatue Friedrichs II. (des Großen) von Preußen, die am 31.5.1851, dem 111. Jahrestag des Regierungsantritts Friedrichs II., am Anfang der Straße Unter den Linden aufgestellt wurde. Am selben Tag verliehen die Kommunalbehörden Berlins Rauch das Ehrenbürgerrecht. Rauch war der 31. Ehrenbürger Berlins. Er war einer der bedeutendsten Meister des deutschen Klassizismus. In seinen Werken vereinten sich klassische Formschönheit mit Sachlichkeit und Wirklichkeitsnähe. Über einen großen Schülerkreis (u. a. Rietschel, Wolff, Drake, Begas) beeinflußte er maßgeblich diese Kunstrichtung im 19. Jahrhundert. Seine letzte Ruhestätte befindet sich auf dem Friedhof der Dorotheenstädtischen und Friedrichswerderschen Gemeinde an der Chausseestraße.