In seiner Geburtsstadt besuchte Rellstab zuerst das Joachimsthalsche, dann das Friedrichswerdersche Gymnasium. Ab 1816 war er als Artillerieoffizier und Lehrer an der Kriegsschule. 1820 beendete er seine militärische Laufbahn und begann, sich der Literatur zu widmen. Er ging nach Frankfurt an der Oder, wo er sich bis zum Juli 1821 aufhielt. In dieser Zeit verfasste er Gedichte, die durch Schuberts Kompositionen berühmt wurden, wie "Frühlingssehnsucht". Er verfasste den Text zu der später von Klein (1793–1832) vertonten Oper "Dido", den er Jean Paul (1763–1825) schickte und in Dresden Carl Maria von Weber (1786–1826) vorlas. Danach ging er nach Bayreuth und schließlich nach Weimar, wo er auf die kühle Ablehnung Johann Wolfgang von Goethes (1749–1832) stieß. In Heidelberg und Bonn besucht er Vorlesungen an den Universitäten. Seine Wanderjahre wurden 1825 mit der Rückkehr nach Berlin beendet. 1826 wurde Rellstab Redakteur der "Vossischen Zeitung" in Berlin. Fast 34 Jahre schrieb er für dieses renommierte Blatt politische Artikel und Berichte zum musikalischen Leben. Seine Kritiken waren zum Teil umstritten und brachten Rellstab auch Ärger ein. Bekannt wurde er vor allem durch die satirische Schrift "Henriette oder die schöne Sängerin", die er unter dem Pseudonym Freimund Zuschauer veröffentlichte. Er wurde für die Herausgabe dieser Schrift zu mehreren Monaten Festungshaft verurteilt. Von 1830 bis 1841 gab er die Musikzeitschrift "Iris im Gebiet der Tonkunst" heraus, mit der er sich als bedeutender Musikkritiker Deutschlands profilierte. Er stand an der Spitze der Gegner einer Weiterentwicklung der klassischen Musik durch Robert Schumann (1810–1856), Frédéric Chopin (1810–1849), Giacomo Meyerbeer (1791–1864) u. a. Daneben versuchte er sich auch als Dichter und Schriftsteller. 1834 erschien sein Napoleon-Roman "1812" in vier Bänden. Er wurde in Kreuzberg auf dem St.-Petri-Luisenstadt-Friedhof (evangelisch), Friedenstraße 81, beigesetzt.