Er war der Sohn des Offiziers und späteren Baumeisters Philipp Gerlach d. Ä. Gerlach jun. lernte bei Jean Baptist Broebes und machte seine praktischen Erfahrungen bei Johann Friedrich Eosander von Göthe und Jean de Bodt. 1707 wurde Gerlach jun. als Nachfolger des 1706 verstorbenen Matthias Grünberg zum Baudirektor ernannt. Ab 1721 stand Gerlach der Baukommission vor. Am 3.4.1747 nahm er seinen Abschied von allen öffentlichen Ämtern. Eine Vielzahl seiner Bauvorhaben wurden in Potsdam, Eberswalde, Küstrin, Prenzlau, Crossen und Köslin realisiert. Nach seinen Plänen wurde 1716 die Charlottenburger Luisenkirche gebaut, und 1734/35 errichtete man nach seinen Entwürfen das heutige Haus Lindenstraße 14 in Kreuzberg, in dem sich das Berlin-Museum befindet (bis 1913 Berliner Kammergericht).