Dès son enfance il est très attiré par le travail manuel et surtout la menuiserie. Il suit les cours d'une petite école industrielle. Il s'installe à Paris à partir de 1856 en qualité d'ébéniste-modeleur à la société "l'Alliance" spécialisée dans la construction d'appareils électriques. En 1867, il prend un brevet pour plusieurs dispositifs destinés à perfectionner les machines à courant alternatif. En 1868, il construit la première dynamo à courant continu, point de départ de l'industrie électrique moderne. En 1870 il dépose le brevet qui contient la théorie de la "machine magnéto-électrique produisant des courants continus".
En 1871 il fonde la Société des machines magnéto-électriques Gramme avec son ami Hyppolite Fontaine.Son premier modèle est alors présenté à la séance de l'Académie des sciences. Un certain nombre de machines seront fabriqués dans les ateliers de la maison Bréguet.
La machine de Gramme sera le clou de l'exposition sur la lumière électrique en 1881 à Paris.
En 1888, il obtient à l'académie des sciences le prix Volta de 50 000 francs institué par Louis-Napoléon que Ruhmkorff et Graham Bell avaient eu avant lui et il est fait officier de la légion d'honneur.