Au Moyen Âge, il existait déjà en France différents corps de militaires responsables de l'ordre public.

Succédant aux sergents d'armes, la maréchaussée est chargée par le roi François Ier en 1536 de lutter contre les « crimes de grand chemin ».

Organisée selon un maillage territorial, la maréchaussée est l'ancêtre de la Gendarmerie nationale actuelle.

L'article premier de la loi du 16 février 1791 déclare : « La maréchaussée portera désormais le nom de la Gendarmerie nationale. » Officiellement intégrée à l'armée, la gendarmerie perd les quelques missions de justice qu'elle assurait jusqu'alors.

Son rôle est clairement défini par la loi du 28 germinal an VI (17 avril 1798) : « Le corps de la Gendarmerie nationale est une force instituée pour assurer dans l'intérieur de la République le maintien de l'ordre et l'exécution des lois. »

Cette définition rend parfaitement compte du double aspect de ses missions : police administrative (prévention des troubles) d'une part, et police judiciaire (répression des crimes et délits) d'autre part.

Sous le Consulat et l'Empire, Napoléon renforce de façon importante la Gendarmerie, notamment pour mieux contrôler l'ordre public dans les provinces, mais également au cours des campagnes militaires.

Sous la Restauration, entre 1815 et 1848, la gendarmerie tombe quelque peu en disgrâce aux yeux du pouvoir royal. Napoléon III et la III° République revalorisent son rôle et augmentent ses effectifs. En 1849, la garde municipale de Paris devient la garde républicaine.

Durant la III° République, la Gendarmerie nationale s'organise peu à peu. La situation sociale et politique fait ressentir aux gouvernants le besoin d'une force efficace de maintien de l'ordre, ce qui conduit à la création des pelotons mobiles de gendarmerie. En 1954, ils deviendront les escadrons de gendarmerie mobile.

Au cours des deux guerres mondiales et des conflits coloniaux, la gendarmerie poursuit ses missions de justice aux armées (la prévôté), et de lutte contre les déserteurs et insoumis.

Après la Seconde Guerre mondiale, la Gendarmerie nationale devient véritablement autonome au sein du ministère de la Défense. La féminisation des effectifs et le développement de l'investigation (brigades de recherche) sont deux facteurs importants de modernisation. Ses missions se diversifiant largement, la Gendarmerie nationale est amenée à créer en son sein des services spécialisés (gendarmerie maritime, gendarmerie des transports aériens...).

Pour autant, la grande majorité des effectifs et des missions se trouve concentrée dans la gendarmerie départementale (les brigades territoriales) et la gendarmerie mobile (maintien de l'ordre).

Depuis 2002, les forces de gendarmerie sont rattachées au ministère de l'Intérieur pour ce qui concerne l'accomplissement de leurs missions de sécurité intérieure.

En 2009, la Direction générale de la Gendarmerie nationale quitte le ministère de la Défense pour rejoindre celui de l'Intérieur. Le rapprochement avec la Police nationale est alors pleinement effectif, même si les gendarmes continuent de relever d'un statut militaire, auquel ils sont fort attachés.

La gendarmerie reste toutefois placée sous l'autorité du ministère des Armées pour l'exécution de ses missions militaires.

Une charte du gendarme a été également adoptée. Cette charte précise les droits et obligations de chaque gendarme.