Er war der Sohn eines Brauereidirektors. Von 1912 bis 1914 studierte er an der Technischen Hochschule Charlottenburg. Danach war er bis 1932 an der Breslauer Kunstakademie tätig. In Berlin beteiligte er sich am Wettbewerb für den Hochhausneubau in der Friedrichstraße und wurde 1926 Mitglied der Berliner Architektenvereinigung „Der Ring“. 1932 kam er nach Berlin, wo er vorwiegend Einfamilienhäuser baute, da er keine öffentlichen Aufträge erhielt. 1945/46 war Scharoun Stadtrat für Bau- und Wohnungswesen beim Magistrat von Groß-Berlin. 1946–1958 fungierte er als Ordinarius für Städtebau und Siedlungswesen an der Technischen Universität Berlin. Mit Hermann Henselmann leitete er von 1947 bis 1950 das neugegründete Institut für Bauwesen an der Akademie der Wissenschaften in Ostberlin. Von 1955 bis 1968 war Scharoun Präsident der von ihm mitbegründeten Akademie der Künste in Berlin-West. Maßgeblich beteiligt war er am Bau der Apartmenthäuser am Kaiserdamm, der Ringsiedlung im Jungfernheideweg, der Laubenganghäuser in der Stalinallee (heute Karl-Marx-Allee), der Philharmonie, des Kulturforums, der Staatsbibliothek und des Kammermusiksaales am Matthäikirchplatz. Er wurde auf dem Landeseigenen Waldfriedhof Zehlendorf, Potsdamer Chaussee 75–77/Wasgensteig, in einem Ehrengrab beigesetzt.