Nach Abschluß der Lehre war Höltermann auf Wanderschaft im Ausland. Von 1915 bis Juli 1918 diente er als Soldat im Ersten Weltkrieg. Ab 1919 arbeitete Höltermann als Journalist. Er war 1924 Mitbegründer des Reichsbanners "Schwarz-Rot-Gold". Von Juli 1932 bis Juni 1933 gehörte er für die SPD, Wahlkreis Magdeburg, dem Reichstag an. Im Jahre 1933 mußte er illegal in Berlin leben. Seine Familie wurde von der Gestapo in Geiselhaft genommen. Anfang Mai 1933 gelang ihm die Flucht nach Amsterdam, wobei er sich zeitweilig auch in Belgien und im Saargebiet aufhielt. 1934, als er zur Festnahme ausgeschrieben war, befand sich Höltermann bereits in London. Im Juni 1935 wurden er und seine Familie aus Deutschland offiziell ausgebürgert. Gegen ihn lag während seiner Emigrationszeit ständig ein Haftbefehl vor.