Mažasis rūmai buvo pastatytas 1317 metais. Jis yra šiaurinėje aikštės, priešais Popiežiaus rezidencijos, ir pavadintas taip, būtent dėl savo kuklus dydžio ir vertės, palyginti su дворцом romėnų popiežių.

Istorija jo atsiradimo туманна: viena versija – jis buvo pastatytas sūnėnas popiežiaus Jono XXII, Арно de Via, pagal kitą - jis buvo pastatytas кардиналом Беренжером F. Vyresnysis. Po jo mirties rūmai ir прилегающая teritorija buvo выкуплены кардиналом Арно de Via. Į 1335 m. De Via mirė ir yra niekam priklausė iki susirinkimą, popiežius Benediktas XII, kuris vėl выкупил jį ir pavertė oficiali резиденцию авиньонского arkivyskupo.

Pastatas labai пострадало tarp 1396 iki 1411 m., nes buvo manoma укрепленной цитаделью авиньонских popiežių. Pasibaigus karo veiksmų rūmai palaipsniui atėjo nuosmukis. Antroje pusėje ir XV amžiaus vyskupas Alanas de Котиви ir jo pasekėjas Джулиано della Ровере (kuris vėliau taps Tėvu Юлием II) nusprendė atkurti pastato ir prie 1503 m. suteikė jam beveik первозданный išvaizdą. Della Ровере atvyko į Avinjonas į 1474 metais, nes jis buvo paskirtas savo dėde, Popiežius Сикстом IV, vyskupas авиньонским. Jis достроил pietų ir vakarų fasadai stiliaus italų renesanso ir 1487 m. возвел bokštą (vėliau, 1767 m. ji buvo sunaikinta).

Tuo metu prancūzijos revoliucijos rūmai tapo valstybės nuosavybė, XIX amžiuje jame buvo katalikų mokykla, o vėliau ir profesionalų mokyklos. Tik pabaigoje XX amžiaus teritorijoje rūmų buvo atidarytas muziejus.

Nuo 1958 m. čia yra Muziejus, Viduramžių. 1976 m. čia buvo atidaryta nacionalinė dailės galerija, darbų meistrai eros Atgimimas. 19 muziejaus salėse eksponuojami, ypač, darbo Alessandro Botičelis, Таддео Гадди, Таддео di Бартоло, Lorenzo Monakas, taip pat čia yra ir garsiąją "Madona" Botičelis.