Er wurde in einer Familie französischer Protestanten geboren und studierte in Marburg, Genf und Paris Jura. Nach dem Studium war er Advokat in Metz. Er setzte sich engagiert für die Sache der Hugenotten vor dem Gerichtshof der französischen Krone ein. Seine Plädoyers für die Rücknahme des Ediktes von Nantes waren allerdings erfolglos. Der Jurist, Erzieher und Geistliche Ancillon kam mit seiner Familie nach Brandenburg wurde 1687 Direktor der Adelsakademie. 1699 wurde er durch den damaligen Kurfürsten Friedrich III. (1657-1713) zum Richter der französischen Gemeinde ernannt und löste somit seinen Onkel, Joseph Ancillon (1629–1719), in diesem Amt ab. Ancillon gehörte mit Leibniz zu den Begründer der Brandenburgischen Societät (der späteren preußischen Akademie) der Wissenschaften und war ab 1699 brandenburgischer Hofhistoriograph. Zudem wurde er Polizeidirektor in Berlin. Charles Ancillon wurde von seinen Zeitgenossen als Schöpfer der französischen Rechtspflege in Brandenburg verehrt.