V roku 1670 sa mestská rada v Marseille rozhodla postaviť La Vielle Charité, aby dala chudobným obyvateľom a sirotám miesto na bývanie. Za vznikom La Vieille Charité stál významný architekt Pierre Puget a tento architektonický návrh je považovaný za jedno z jeho najkrajších diel.
Súčasťou stavby bola neskôr i nemocnica a rozsiahle nádvorie. V rokoch 1679 až 1707 vyrástla na nádvorí i kaplnka s kupolou, ktorá je zhmotnením talianskeho barokového štýlu.
Počas druhej svetovej vojny stavba postupne chátrala. Neskôr bola zrenovovaná a od roku 1986 sa stala vedeckým a kultúrnym centrom, múzeom afrického umenia, Oceánie, poézie a výstavnou sálou.