Er besuchte das Königliche Joachimsthalsche Gymnasium in Berlin und studierte ab Ostern 1863 als Stipendiat an den Universitäten von Breslau und Berlin Mathematik und Naturwissenschaften. Nach erfolgreichem Studienabschluss zu Ostern 1873 erhielt Seler eine Hauslehrerstelle bei General von Winterfeld, danach bei Bankier Bleichröder in Berlin. 1875 legte Seler die Oberlehrerprüfung ab und bekam im Herbst 1876 eine Anstellung am Dorotheenstädtischen Realgymnasium in Berlin, wo er drei Jahre unterrichtete. Er gab aus Gesundheitsgründen diese Stelle auf und musste sich von einer schweren Magenerkrankung kurieren, wofür er nach Crossen und dann zu seiner Schwester nach Triest fuhr, die dort als Lehrerin arbeitete. Bereits während seines Triester Aufenthaltes begann er mit dem Studium fremder Sprachen, was ihn zunehmend fesselte. Seler arbeitete ab 1884 am Königlichen Museum für Völkerkunde in Berlin, das damals von Adolf Bastian (1826–1905) geführt wurde. 1887/88, nachdem er am 30.4.1887 an der Leipziger Universität über das "Konjugationssystem der Mayasprachen" promoviert hatte, unternahm er Forschungsreisen nach Mexiko, Guatemala und in den Süden der USA. Er wurde 1892 Direktionsassistent im Museum und habilitierte sich zwei Jahre später an der Berliner Universität zum Thema "Die mexikanischen Bilderhandschriften Alexander von Humboldts in der Königlichen Bibliothek zu Berlin". Vom Herbst 1895 bis Frühjahr 1897 war Seler erneut in Mexiko und Guatemala. Diese Studienreisen wiederholte er mehrmals in den nächsten Jahren. 1899 erhielt er eine außerordentliche Professur für amerikanische Sprach-, Volks- und Altertumskunde an der Friedrich-Wilhelms-Universität. Am 24.8.1908 ernannte ihn die Königliche preußische Akademie der Wissenschaften zu ihrem ordentlichen Mitglied. Sie verlieh ihm auch den Herzog-Loubat-Preis. Herzog von Loubat war ein konsequenter Förderer des Studiums der amerikanischen Sprachen und hatte den Lehrstuhl für amerikanische Sprach-, Volks- und Altertumskunde gestiftet, den Seler erhalten hatte. 1910/11 war Seler Direktor des Internationalen Archäologischen Instituts in Mexiko. Er wohnte 36 Jahre lang am Fichtenberg in der Kaiser-Wilhelm-Straße 3 (heute Schmidt-Ott-Straße).