Il corpo fu creato da Vittorio Emanuele I di Savoia, re di Sardegna, con lo scopo di fornire al Piemonte un corpo di polizia simile a quello francese della Gendarmerie. I compiti di polizia in quel periodo erano svolti dai Dragoni di Sardegna, corpo creato nel 1726 e composto da volontari, mentre parallelamente andava sviluppandosi il progetto di un apposito Corpo delle Guardie di Pubblica Sicurezza. Dopo l'occupazione di Torino da parte dei soldati francesi, alla fine del XVIII secolo, quando questi lasciarono il campo alla famiglia Savoia, con la legge reale del 13 luglio 1814 ("Regie Patenti"), fu istituito il Corpo dei Reali Carabinieri, al quale vennero via via assegnate crescenti funzioni di polizia. Essi raccoglievano l'eredità dei Reali Cavalleggeri che, a loro volta discendendo dal corpo dei Cacciatori Reali (poi riuniti nel Corpo dei Moschettieri di Sardegna), avevano maturato ragioni d'onore nella lotta al brigantaggio in Sardegna; dai Cacciatori derivano anche i Granatieri (appunto detti "di Sardegna"), la cui storia divide non pochi elementi con quella dei Carabinieri. Da un punto di vista militare, si trattava di un corpo di fanteria leggera, e dunque più elitario rispetto ad un corpo di fanteria di linea; il primo personale arruolato fu infatti selezionato nell'eccellenza dei reparti piemontesi e per molto tempo restò un corpo d'élite (si pensi, ad esempio, che tutti i Carabinieri dovevano saper leggere e scrivere, capacità al tempo davvero minoritarie). L'arma tipica era ovviamente la carabina, non ancora del tutto rimossa dalle ordinanze per ovvi motivi di tradizione. Quest'ultima è stata recentemente del tutto sostituita con il fucile d'assalto Beretta AR 70/90. I Carabinieri vennero costituiti in arma (così si chiama ciascuna delle componenti dell'Esercito) e nel tempo ne divennero la prima arma, o "l'Arma" per antonomasia.
Come Arma i Carabinieri hanno combattuto in ogni conflitto nel quale l'Italia sia stata coinvolta, riportando molte perdite in termini di vite umane e componendo un imponente medagliere per atti eroici compiuti in ogni parte del mondo. I Carabinieri sono particolarmente orgogliosi della memoria del vice brigadiere Salvo D'Acquisto, che morì a Palidoro, vicino a Roma, durante la seconda guerra mondiale, ucciso dai tedeschi per rappresaglia dopo essersi autoaccusato per salvare 22 condannati a morte. La storia dei Carabinieri è coronata di molti altri simili comportamenti altruistici, circostanza che ha garantito da sempre una grande popolarità all'Arma da parte della popolazione. Il contraltare della storia, però, porta ad annotare come l'Arma, e ciò è visibile anche nei vari documentari LUCE, anch'essa abbia marciato con il passo dell'oca pur nella sua intrinseca e capibile qualità di forza armata. C'è da dire che all'Arma fu devoluto, durante la Prima Guerra Mondiale, l'ordine di sparare ai combattenti che si ritiravano durante i combattimenti e, nella seconda guerra mondiale, dopo l'8 settembre, furono incaricati nel rintracciamento e cattura degli ebrei, per la deportazione. Va tuttavia ricordato che circa 2.700 carabinieri subirono la deportazione per essersi rifiutati di applicare le cosiddette "leggi razziali" nei confronti di cittadini italiani di religione ebraica.