Kaun studierte in Berlin. Nach Abschluß des Studiums wirkte er ab 1887 anderthalb Jahrzehnte in den USA als Lehrer, Dirigent und Komponist. Ab 1902 in Berlin, wurde er 1912 Mitglied der Akademie der Künste. Kaun schuf Opern sowie Orchester- und Kammermusik. Er war auch erfolgreich mit Chorkompositionen in spätromantischem, volkstümlichem Stil. Seine Hauptwerke sind: Symphonie Nr. 2 c-Moll, Opus 85; "Sir John Falstaff", Opus 60; "Märkische Suite", Opus 92; Klaviertrio Nr. 1 B-Dur, Opus 32; Streichquartette Nr. 3 c-Moll, Opus 74; die Opern "Sappho", "Der Fremde", Chorwerke wie "Mutter Erde", die Kantate "Wachet auf", Requiem, Opus 116 und gemischte Chöre a capella, wie "Vom deutschen Rhein" (Gesangszyklus für Männerchor). Kaun wohnte von 1902 bis zu seinem Tod in der Schwerinstraße, die am Vorabend seines 74. Geburtstages seinen Namen erhielt. Seine Grabstätte befindet sich auf dem Städtischen Friedhof in Zehlendorf, Onkel-Tom-Straße 30.