Schwechten studierte an der Bauakademie in Köln. Im Jahre 1868 erhielt er vom Architektenverein für seinen Entwurf zum "Parlamentshaus für Preußen" den Schinkel-Preis. 1869 arbeitete er kurz bei Martin Gropius in Berlin, und 1870/71 war er hier als Privatarchitekt tätig. 1871 war Schwechten Leiter des Projektierungsbüros der Berlin-Anhalter Eisenbahngesellschaft. Der dem Historismus verpflichtete Architekt schuf mit dem Anhalter Bahnhof (1875-1880) eines seiner wichtigsten Werke. Er war Gründungsmitglied des am 8.6.1879 gegründeten Verbands der "Vereinigten Berliner Architekten". Im Januar 1885 wurde er Mitglied der Akademie der Künste Berlins und lehrte an der Technischen Hochschule Charlottenburg. Drei Jahre darauf wurde Schwechten Mitglied ihres Senats und zum Baurat ernannt. Von 1891 bis 1895 erbaute er die Kaiser-Wilhelm-Gedächtniskirche. Ab 1902 leitete er ein Meisteratelier an der Akademie der Künste, und 1918 wurde er, nachdem er 1889/90 stellvertretender Vorsitzender war, Ehrenvorsitzender des Architektenverbands Deutschlands. Sein Grab befindet sich auf dem Alten Friedhof der Paul-Gerhardt-Kirche in Schöneberg, Hauptstraße 47.