Nel 1995, assieme al batterista Frank Lantignac pubblicano il loro primo album dal titolo Ulan Bator, dove fondono una miscela di post-rock dilatato, krautrock tedesco anni settanta e new wave; la particolarità che fin da subito viene notata di questo gruppo è che la musica non segue una determinata impostazione tipica della forma canzone (ritornello, strofa, ritornello), ma si basa soprattutto sull'istinto dei tre musicisti che spaziano come vogliono all'interno dei loro pezzi, e con la quasi assenza di voce riescono ad essere comunicativi e psichedelici allo stesso tempo. Nel 1996 esce il mini album 2 Degrees, dove il gruppo conferma quello che di buono aveva fatto sentire nell'album precedente, e Cambuzat/Manchion iniziano a collaborare con i Faust. Nel 1997 esce l'album Vegetale, dove tutta l'energia visionaria e la violenza che c'è nella testa dei tre suonatori viene comunicata attraverso la musica. Anche qui i testi cantati non sono molti, anche se la voce di Amaury Cambuzat, tetra, cupa e lontana da il tocco finale all'album.

{affiliatetextads 1,,_plugin}Nel 1998 vengono scoperti dal Consorzio Produttori Indipendenti (CSI), capitanato da Giovanni Lindo Ferretti e Gianni Maroccolo, che producono in Italia sia una raccolta dei primi due album, Polaire, sia Vegetale, portandoli anche in tour per diversi live; ed è proprio la presa live che li caratterizza maggiormente, risultando ancora più intensi e caldi rispetto al disco. Nel 1998 il batterista Frank Lantignac lascia il gruppo e viene sostituito dall'italiano (Pordenone) Matteo Dainese (ex batterista dei Jitterbugs, Meathead e Here). È a questo punto che gli Ulan Bator firmano un contratto con una major, la Young Records, e avvalendosi della collaborazione di Michael Gira (Swans) danno alla luce Ego:Echo, il disco più complicato della loro storia. I pezzi sono tutti cantati, le sonorità sono diverse, più blande, ma non per questo meno psichedeliche e meno cupe, l'impatto con il nuovo batterista è buono, il suono è più tagliente e piatto e dimostra una forte evoluzione fatta dal gruppo rispetto all'inizio. Nel 2002 esce una raccolta presa da vari live di Ego-Echo, contenente anche brani demo rimasterizzati, dal titolo OK:KO. Tra i pezzi la versione demo di Let go ego, Attak e la versione live di La Joueuse du tambour.

Sempre nello stesso anno Olivier Manchion, dopo la realizzazione di questo disco, lascia la band (e fonda i Permanent Fatal Error, e subentra un altro ragazzo di Pordenone, Manuel Fabbro (ex Oslo). Nel 2003, il gruppo, avvalendosi della colaborazione di Robin Guthrie (ex chitarrista dei Cocteau Twins) alla produzione e di Egle Sommacal (ex Massimo Volume) alla seconda chitarra, sforna il sesto album della sua storia, Nouvel Air, disco che segna un profondo cambiamento del gruppo verso atmosfere molto più soft e placide. Qui il gruppo porta ancora una cosa nuova nel suo repertorio, e cioè la comunicazione attraverso la musica (e le parole di Amaury) del benessere e della tranquillità emotiva, le atmosfere sono dolci e candide come una continua ninna nanna. Un disco di avanguardia veramente originale. Siamo così infine a gennaio 2005. Il gruppo sente la necessità di farsi conoscere anche da un pubblico non proprio ristretto e con l'aiuto della casa discografica Jestrai pubblica Rodeo Massacre, album che racchiude dieci anni di carriera del gruppo in una forma ascoltabile a tutti, avvalendosi anche della collaborazione del cantante Emidio Clementi (ex Massimo Volume) per la realizzazione del brano La femme cannibale.

Per ogni album prodotto, gli Ulan Bator si sono sempre esibiti dal vivo con almeno una quarantina di concerti all'anno solo in Italia. Nel 2005 esce "Rodeo Massacre" , uno dei più grandi successi della band, da cui vengono estratti i singoli "Pensées Massacre" e "La femme cannibale" (duetto insieme a Emidio Clementi, leader dei Massimo Volume). Dopo una pausa di quasi due anni durante quale Amaury Cambuzat ha collaborato con i mitici "Art-errorists" Tedeschi Faust, Ulan Bator torna in pista con il nuovo EP 'SOLeils', e nel 2010 uscirà il loro nuovo full lenght 'Tohu-Bohu'.