Er nahm bereits 1492 unter seinem Vater am Krieg gegen Herzog Albrecht IV. von Bayern teil. Unter Kaiser Maximilian I. kämpfte er 1499 im "Schwabenkrieg" und stand von da an in seinen Diensten. 1504 wurde er zum Ritter geschlagen. Er formte als kaiserlicher Feldhauptmann und oberster Führer der Landsknechte diese zu einer schlagkräftigen Truppe, was ihm den Namen "Vater der Landsknechte" einbrachte. 1521 erhielt er von Kaiser Karl V. den Oberbefehl gegen Frankreich. 1525 nahm er in der Schlacht bei Pavia den französischen König Franz I. gefangen. Als die Landsknechte im März 1527 bei Bologna wegen unzureichender Soldzahlungen meuterten, erlitt er einen Schlaganfall, dem er wenige Monate später erlag.