Er besuchte 1788-1790 die Potsdamer Ingenieur-Akademie und trat dann als Ingenieur-Leutnant in die preußische Armee ein. 1796 kam er als Adjutant des Generalquartiermeisters, Chefs des Ingenieurkorps und Generalinspekteurs der Festungen nach Berlin. Seit 1802 war er im Generalstab tätig und wurde 1813 nach dem Tod von Scharnhorst Chef des Ingenieur-Korps und gleichzeitig Chef des Allgemeinen Kriegs- und Militärökonomiedepartements sowie Generalinspekteur für die preußischen Festungen. 1830 wurde er zum General der Infanterie befördert und 1831 in den Staatsrat berufen. 1837 ernannte ihn Friedrich Wilhelm III. zum preußischen Staats- und Kriegsminister. Er war bis zu seinem Tode ein überzeugter Anhänger der Steinschen Armee-Reformen. Rauch wurde am 6.4.1840 anläßlich seines fünfzigjährigen Dienstjubiläums Ehrenbürger von Berlin.