L'architetto incaricato di costruire la Gare d'Orsay, Victor Laloux, realizzò quasi volutamente un esterno riccamente decorato con archi, colonne e statue sulla facciata, piramidi, torrette, frontoni e stemmi sul tetto. Tutto ciò mascherava una struttura su diversi piani, in metallo e vetro, per certi versi simile a una cattedrale.

Una volta finita, la Gare d'Orsay fu una delle più moderne e tecnologicamente avanzate del mondo: oltre ad avere luce, ascensori e scale mobili era anche capolinea di treni elettrificati. Come notò un viaggiatore dell'epoca, "ogni cosa era motorizzata dall'elettricità" e anche il bagaglio dei passeggeri veniva trasportato da un livello all'altro su rulli mobili. In meno di due decenni, tuttavia, la stazione risultò superata: il rapido progredire della meccanizzazione ne provocò la crisi e diventò difficile farla funzionare perché molte delle sue caratteristiche, una volta nuove e all'avanguardia, diventarono obsolete; così nel 1939 il servizio fu sospeso. Negli anni successivi, lo stabile fu adibito a vari usi: nel 1945 fu famoso come sede di transito dei prigionieri di guerra; nel 1962 fu lo straordinario set del film di Orson Welles Il processo; nel 1973 fu scelto come sede stabile dalla compagnia teatrale di Jean-Louis Barrault e di sua moglie e nel 1974 diventò sala di vendita dell'Hôtel Drouot, la casa d'aste più importante di Parigi.

Intorno al 1980, gli architetti del Musée d'Orsay restaurarono gran parte delle strutture ideate da Victor Laloux. La sala principale, per esempio, fu aperta per dar risalto alle arcate vetrate della navata e su entrambi i lati della navata centrale furono creati nuovi spazi espositivi, coperti da terrazze. La luce naturale illumina diverse ampie gallerie nella parte superiore dell'edificio, sotto il tetto della stazione e del vecchio hotel, molti locali del quale conservano la funzione originaria: la spaziosa sala da pranzo è diventata oggi il ristorante del museo. Ovunque, tuttavia, sono visibili i pilastri in ghisa e le griglie di metallo di Laloux; ma le nuove strutture, i materiali e i colori si armonizzano gradevolmente con quelle originali.

Benché il Musée d'Orsay sia conosciuto dal pubblico soprattutto per la raccolta di dipinti impressionisti, in realtà vanta una magnifica collezione di opere che partono dalla seconda metà del XIX secolo e non espone esclusivamente dipinti, ma anche importanti lavori di architetti, scultori, fotografi e creatori d'arte decorativa e industriale dal 1848 al 1914.