Ballin erhielt seine kaufmännische Ausbildung in Hamburg. 1874 trat er in das Unternehmen seines Vaters ein. 1881 übernahm er die Verantwortung für die Passagevertretung der Reederei Carr. 1886 wurde Ballin Leiter des Passagedienstes der Hamburg-Amerikanischen-Paketfahrt AG (Hapag), in deren Vorstand er 1888 berufen und zu dessen Generaldirektor er 1899 ernannt wurde. Die in Hamburg-Amerika-Linie umbenannte AG wurde unter seiner Führung zur größten Reederei der Welt. Ballin war ferner Mitglied des Aufsichtsrats der AEG und der Disconto-Gesellschaft Berlin und galt als Vertrauter Kaiser Wilhelms II. Seine Bemühungen, seinen Einfluß auf den Kaiser für eine deutsch-englische Verständigung zu nutzen, scheiterten allerdings. Erfolg hatte jedoch seine Mitwirkung beim Abschluß des deutsch-amerikanischen Schiffahrtsvertrages von 1912. Ab 1887 baute die HAPAG auf Initiative Ballins Doppelschrauben-Schnelldampfer, von denen einige einen Schnelligkeitsrekord aufstellten. Im Ersten Weltkrieg produzierte die Reederei auch Turbinendampfer, so die "Bismarck" und die "Vaterland". Seit 1881 veranstaltete die HAPAG Vergnügungsreisen, die anfangs nur in den Orient, später in alle Erdteile führten. Der Krieg von 1914 bis 1918 zerstörte letztlich das Lebenswerk Ballins. Im Sommer 1916 gehörte Ballin zu den finanziellen Förderern des "Deutschen Nationalausschusses für einen ehrenvollen Frieden". Im November 1918 wurde er von mehreren Parteien gebeten, die Friedensverhandlungen zu führen. Doch unter dem Eindruck der Revolution und der schwer angeschlagenen Reederei beendete Ballin durch Selbsttötung in Hamburg sein Leben.