Nach dem Besuch der Bochumer Gewerbeschule arbeitete er fünf Jahre als Bergmann, um sich Mittel für sein späteres Studium an der Berliner Gewerbeakademie zu verdienen. Danach war er in verschiedenen Eisenhütten tätig. 1872 wurde er in den Vorstand der Eisen- und Stahlwerke Osnabrück berufen. Sein Spezialgebiet war der Eisenbahnoberbau und der Gleisbau. Er entwickelte den Haarmann'schen Zwillingsschienen-Oberbau für Straßenbahnen sowie verschiedene Arten von Eisenbahnschwellen und von Schienenbefestigungen. Haarmann ist auch der Begründer des ehemaligen Gleismuseums in Berlin. In der neu angelegten Siedlung "Neues Heim" nördlich der Lehrter Eisenbahn wurden einige Straßen nach verdienten Wegbereitern und Fachleuten des Eisenbahnwesens benannt.