Der Kaufmannssohn Löhe studierte ab 1826 in Erlangen Theologie. Das Sommersemester 1828 verbrachte er in Berlin. In den Jahren 1831-1837 wirkte er an unterschiedlichen Orten als Vikar und kam dann als Pfarrer nach Neudettelsau. Sein Studium der Schriften Martin Luthers führte ihn zu einer konsequent lutherisch-kirchlichen Position. Ab dem Jahre 1841 betreute er die Auswanderungswilligen, die nach Nordamerika gehen wollten. Im Jahre 1846 wurde von ihm die Neudettelsauer Missionsanstalt gegründet und 1854 das dortige Diakonissenmutterhaus. Er gründete auf drei Erdteilen lutherische Missionen. Löhe gehörte zum engsten Freundeskreis des Berliner Alttestamentlers Ernst Wilhelm von Hengstenberg.