La zona attualmente conosciuta come Yemen è stata abitata per più di 3000 anni. Gli antichi regni si arricchivano vendendo agli egiziani, ai greci e ai romani resine aromatiche note come incenso e mirra. Nacquero molti regni e molti altri decaddero lungo le vie del commercio; il più potente fra tutti fu il regno di Saba, che durò 14 secoli a partire dal 1000 a.C., e che basò la sua enorme ricchezza agricola intorno alla famosa diga di Ma'rib. Quando, nel I secolo d.C., i greci e i romani scoprirono che potevano raggiungere l'India via mare, i porti dello Yemen si estinsero, eclissando le città che erano cresciute lungo le vie del commercio terrestri. Nel 395 l'imperatore romano Teodosio proclamò il cristianesimo nuova religione di stato, mettendo efficacemente la parola fine alla richiesta di incenso e costringendo il regno di Saba a un irreversibile declino. Nel 575 i persiani avevano occupato senza intoppi il paese ed erano i padroni di tutto ciò che compariva sotto i loro occhi.

Nel VII secolo il governatore persiano dello Yemen si convertì all'Islam: da bravi sudditi, gli abitanti presto lo seguirono, e verso la metà del secolo gli yemeniti avevano costruito più di qualche moschea. Mentre il centro del potere islamico si trasferiva dalla Penisola Arabica al Golfo Persico, lo Yemen fu lasciato a se stesso e a un avvicendarsi di regni di più o meno breve durata. La dinastia zaydita fondò nell'897 uno stato strettamente islamico nel nord del paese che sopravvisse fino al colpo di stato del 1962. I Kathiridi, che avevano preso il potere nel XV secolo, governarono la parte meridionale fino al 1967.

Le potenze coloniali europee iniziarono ad accaparrarsi la penisola attorno al 1513, quando il Portogallo mise gli occhi su Aden. I Mamelucchi dell'Egitto e gli Ottomani della Turchia non furono per niente entusiasti dell'invasione iberica e, dopo una lotta durata quattro anni, lo Yemen passò in mano agli Ottomani. Nel 1636 la dinastia zaydita allontanò i turchi dal proprio territorio, ma nel 1839 gli inglesi presero Aden e ne fecero un protettorato, estendendo il controllo su buona parte della zona meridionale (controllo che mantennero fino al 1950). Gli Ottomani tornarono nel 1849, conquistando il nord-ovest del paese. Gli sceicchi locali si rifiutarono di arrendersi a un'autorità straniera, e dopo decenni di insurrezioni gli Ottomani, già messi a dura prova dalla prima guerra mondiale, lasciarono lo Yemen al suo nuovo re, l'imam Yahya (sebbene la Gran Bretagna si tenesse ancora stretti i suoi protettorati).

Nonostante l'imam avesse il controllo della Tihama, le tribù settentrionali erano determinate ad avere un proprio leader al potere, e si allearono con l'Arabia Saudita, uno stato di recente formazione. La guerra del 1934 tra sauditi e yemeniti si concluse con l'occupazione della regione dell'Asir da parte dei primi. Nell'arco dei seguenti 30 anni lo Yemen rimase isolato e in stato di arretratezza: nel 1960 non c'erano strade asfaltate, quasi nessun medico e i livelli di alfabetizzazione erano molto bassi.

Nel corso degli anni '50 lo Yemen incorse in numerosi scontri con il Protettorato di Aden a causa dei confini, e alla fine si rivolse all'Egitto in cerca di aiuto. In base agli accordi con l'Egitto, lo Yemen si unì alla Lega Araba, composta da Egitto e Siria. Nel 1962, quando morì l'imam, un gruppo di ufficiali dell'esercito fecero un colpo di stato e fondarono la Repubblica Araba dello Yemen. Le forze fedeli al figlio dell'imam, al-Badr, si ritirarono a nord verso le montagne, e ottennero l'appoggio della Gran Bretagna e dell'Arabia Saudita; di qui intrapresero una guerra contro i repubblicani, appoggiati dall'Egitto e dall'Unione Sovietica. Nel 1967 gli egiziani si ritirarono, ma i lealisti non riuscirono a sconfiggere i repubblicani. Nel 1970 l'imam al-Badr fu mandato in esilio in Gran Bretagna e la Repubblica Araba dello Yemen fu riconosciuta dall'Arabia Saudita.

Tutti gli stravolgimenti accaduti nel nord del paese ebbero come conseguenza che alcuni yemeniti del sud si infiammassero abbastanza da iniziare una rivoluzione per proprio conto. Il Fronte di Liberazione Nazionale, un gruppo di guerriglia marxista e nazionalista, nel 1963 dichiarò guerra alla Gran Bretagna. Nel 1967 gli inglesi abbandonarono Aden e fu dichiarata la Repubblica Popolare dello Yemen del Sud. Senza le finanze degli inglesi e con la recente chiusura del Canale di Suez, la nuova repubblica si trovava in tremende ristrettezze economiche. Con lo scopo di ottenere aiuti economici dai paesi comunisti iniziò un programma di nazionalizzazione e si dichiarò stato marxista, modificando il proprio nome in Repubblica Popolare Democratica dello Yemen (PDRY).

Naturalmente, non c'è niente di peggio di due paesi che portano lo stesso nome. Durante gli anni '70 i due Yemen si scontrarono in guerre di confine, e si trovarono a fronteggiare una notevole instabilità interna. Nel 1978 il colonnello Ali Abdullah Saleh divenne presidente della Repubblica Araba dello Yemen (YAR), dando inizio a un periodo di stabilità non democratica che durò per tutti gli anni '80, mentre nella Repubblica Popolare Democratica dello Yemen le cose andavano così male che nel 1986 si arrivò a combattere una guerra civile. Con il crollo dell'Unione Sovietica alla fine degli anni '80, la PDRY (Yemen del Sud) perse la sua fonte di approvvigionamento economico e rinunciò a combattere, scegliendo di unificarsi con la YAR (Yemen del Nord).

Il 22 maggio 1990 fu dichiarata la Repubblica Unificata dello Yemen, e nel 1991 la popolazione ratificò una costituzione che assicurava libere elezioni, un sistema multipartitico e il riconoscimento dei diritti umani. Ma i problemi non si potevano cancellare con una semplice firma: le lotte di potere tra le due fazioni portarono a una tragica guerra civile nel 1994. Nonostante gli yemeniti del sud cercassero, ancora una volta, di fondare un proprio stato, quelli del nord erano troppo potenti; così il paese alla fine venne riunificato sotto la leadership del presidente Saleh. Da allora lo Yemen si è impegnato in un programma di modernizzazione e si sta gradualmente aprendo al mondo esterno.

La riconciliazione fra lo Yemen del Nord e lo Yemen del Sud sta procedendo a rilento. La rapina del 1998, nel corso della quale rimasero uccisi quattro turisti, ebbe vasta eco all'estero: anche se l'attentato era di chiara matrice straniera (diversi esecutori materiali erano cittadini inglesi e algerini), si tentò di far cadere la responsabilità di questa e di tutte le altre azioni sui gruppi di guerriglieri del sud. La rivolta a metà 1999 ha provocato un'impennata dei prezzi delle materie prime. Le dispute con l'Arabia Saudita e l'Eritrea in merito ai confini non sono ancora state risolte; in generale, tuttavia, la situazione della sicurezza è migliorata e il governo si è impegnato a mantenere il paese sicuro per i turisti. La nazione più povera della penisola ha inoltre ridotto drasticamente il proprio debito internazionale alla fine del 1999, grazie alla diminuzione dei prezzi del petrolio. La democrazia resta tuttavia sulla carta, perché si è ancora lontani dal raggiungere un assetto stabile.

Dopo l'11 settembre 2001 lo Yemen sta incrementando la collaborazione con gli USA per abbattere il terrorismo internazionale. All'inizio di ottobre 2002 un'esplosione ha seriamente danneggiato, provocando la morte di un membro dell'equipaggio, la petroliera francese Limburg, ormeggiata al largo della costa dello Yemen. Inviando un comunicato a un giornale yemenita, un gruppo islamico si è attribuito la responsabilità dell'attentato, ma le indagini non sono riuscite a dimostrare alcun legame con Al-Qaeda, che nell'ottobre 2000 aveva rivendicato l'attentato al cacciatorpediniere americano Cole. Pochi giorni dopo la rivendicazione al giornale, un sito internet, ritenuto vicino ad Al-Qaeda, ha attribuito a Bin Laden l'elogio dell'attentato alla petroliera.

A Jibla, 170 chilometri a sud della capitale, il 30 dicembre 2002 un uomo addestrato da Al-Qaeda in Afghanistan ha fatto irruzione in un ospedale cristiano americano aprendo il fuoco e uccidendo tre medici e ferendone un quarto. Secondo l'attentatore, che è stato catturato, essi facevano proselitismo cristiano in terra islamica.

Negli ultimi anni, lo Yemen si è rivelato un prezioso alleato nella lotta al terrorismo internazionale. Grazie al cospicuo sostegno americano e alle politiche di sviluppo del FMI, l’economia ed il benessere del paese sono in crescita. Secondo gli osservatori, tuttavia, la stabilità politica del paese dipende in gran parte dal ruolo che il governo sta assumendo nella lotta contro il terrorismo internazionale, in particolare contro i seguaci più stretti di Osama Bin Laden.