Er studierte in Leipzig und Wien Medizin und habilitierte sich 1868 an der Leipziger Universität. Danach war er Assistenzarzt am Leipziger „Jakop-Spital“. 1873 wurde Heubner auf Vorschlag seines Lehrers Karl August Wunderlich (1815–1877) außerordentlicher Professor für Innere Medizin an der Leipziger Universität. 1876 wurde ihm die Leitung der Leipziger Distriktpoliklinik übertragen. Er lehrte ab 1887 Kinderheilkunde an der dortigen Universität und wurde 1890 Direktor der Kinderklinik und der Universitätsklinik. Vier Jahre später ging er in gleicher Funktion an die Berliner Charité, wo gerade ein Ordinariat für Pädiatrie eingerichtet worden war. Otto Heubner war damit der erste deutsche ordentliche Professor für Kinderheilkunde. 1894 übernahm er die Direktion der Kinderklinik der Charité. Heubner, der ein ausgezeichneter Diagnostiker war, hielt seine Schüler zur genauen Beobachtung ihrer jungen Patienten an. Er verfasste Forschungsarbeiten zur Diphtherie, über Ernährungsstörungen sowie zur Säuglingsfürsorge. Er wohnte mit seiner Ehefrau in Berlin, Kronprinzenufer 12.