Als Sohn eines Hausierers durchlebte er eine entbehrungsreiche Kindheit und Jugend. Er bildete sich autodidaktisch weiter. Eckermann nahm an den Befreiungskriegen 1813/14 teil und ging danach nach Hannover. Erst mit 25 Jahren konnte er ein Gymnasium besuchen und studierte ab 1821 in Göttingen Literatur und Ästhetik. Als 1822 die finanzielle Unterstützung seiner Gönner ausblieb, ging er nach Empelde bei Hannover und widmete sich der Dichtkunst. Es entstanden die "Beyträge zur Poesie unter besonderer Hinweisung auf Goethe", die Eckermann 1823 seinem großen Vorbild übersandte. Er besuchte Goethe (1749–1832) kurz darauf in Weimar, der ihn zum Bleiben aufforderte und dafür sorgte, daß die "Beyträge zur Poesie" gedruckt wurden. Eckermann war von da an ein Gesprächspartner Goethes. Eine eigene Karriere, die ihm 1824 bei der internationalen Literaturzeitschrift „European Review“ angeboten wurde, lehnte er aus diesem Grund ab. Goethe verschaffte ihm 1925 die Ehrendoktorwürde der Universität Jena, über die Eckermann jedoch nicht glücklich war. Aus Freundschaft und Gefälligkeit ordnete er Goethes Werke. Da er von Goethe dafür kein Honorar enthielt, verdiente Eckermann seinen Lebensunterhalt mit Privatunterricht, u. a. 1829–1835 als Lehrer des Erbprinzen Carl Alexander (1818–1901), ab 1835 Großherzog von Sachsen-Weimar-Eisenach. Zwischen 1823 und Goethes Tod 1832 entstand Eckermanns bekanntes Werk "Gespräche mit Goethe in den letzten Jahren seines Lebens". Da Goethe es nicht wünschte, daß das Werk zu seinen Lebzeiten erscheint, wurden die ersten beiden Bände erst 1836 aufgelegt. 1848 kam der dritte Band heraus. Nach Goethes Tod wurde Eckermann gelegentlich vom Erbprinzen Carl Alexander als Berater hinzugezogen, wurde 1843 auch zum Hofrat ernannt, seine finanzielle Situation blieb jedoch stets heikel. Als Eckermann 1854 in Armut starb, stiftete ihm Großherzog Carl Alexander unmittelbar neben der Fürstengruft, unweit von Goethes Sarkophag, eine ehrenvolle Grabstätte.