Kleine schlug nach der Schulausbildung die militärische Laufbahn ein. Am 14.3.1905 kam er als Leutnant zum Infanterieregiment Nr. 65. 1913 bewarb er sich erfolgreich zur Ausbildung an der Herzog-Karl-Eduard-Fliegerschule in Gotha, wo er am 2.7.1914 das Flugzeugführerabzeichen erwarb. Kleine wurde am 24.7.1915 zum Hauptmann befördert und blieb bis Dezember 1915 bei der Feld-Flieger-Abteilung. Nach mehreren Stationen als Kampfflieger übernahm er am 23.6.1917 das Kommando des 3. Bombengeschwaders, das vor allem Einsätze gegen britische Städte flog. Am 4.10.1917 wurde ihm vom Kaiser der Orden Pour le Mérite verliehen. Kleine wurde während eines Kampfeinsatzes über Ypern abgeschossen.