Petit Palais tika uzcelta 1317. Tas atrodas ziemeļu daļā laukuma, pie dzīvesvietas pāvesta valstīs, un ir tik nosaukts, jo tā pieticīgo lielumu un vērtību, salīdzinot ar pils pāvestu.

Viņa parādīšanās stāsts neskaidrs: saskaņā ar vienu versiju - tā tika uzcelta par brāļadēls Jānis XXII, Arnaud de Via, no otras puses - tā tika uzbūvēta ar Cardinal Bérengère F. Elder. Pēc viņa nāves, pils un iemesli nopirka kardināls Arnaud de Via. In 1335 Via De nomira un pils piederēja nevienam līdz ierašanās pāvesta Benedikta XII, kurš nopirka to atkal un pārvērtās oficiālā rezidence arhibīskaps Avignon.

Ēka tika stipri bojātas laika posmā no 1396. līdz 1411. Tā tika uzskatīts cietoksnis Aviņonas popes nocietinātajām. Pēc karadarbības beigām, pils pakāpeniski samazinājās nolaists. Gada otrajā pusē XV gadsimtā, bīskaps Alain de Kotivi un viņa pēctecis Giuliano della Rovere (kurš vēlāk kļuva Jūlijs II) nolēma atjaunot ēku un 1503 deva viņam gandrīz pirmatnējo formu. Della Rovere ieradās Avignon in 1474, kā viņš tika iecelts ar savu tēvoci, pāvesta Siksta IV, bīskapa Avignon. Viņš piebilda, uz dienvidu un rietumu fasādes itāļu renesanses stilā un 1487 uzcelts tornis (vēlāk, 1767. tika iznīcināta).

Franču revolūcijas laikā, pils kļuva par valsts īpašumā, kas XIX gadsimtā tā bija katoļu skolu un vēlāk arodskola. Tikai beigās XX gadsimta teritorijā pils ir bijusi muzeju.

Kopš 1958. gada, tā mājas muzejs viduslaikos. 1976. gadā tika atklāta mākslas galeriju darbu meistaru renesanses. 19 telpas muzeja, jo īpaši, darbs Sandro Botičelli, Taddeo Gaddi, Taddeo di Bartolo, Lorenzo Monako, arī šeit ir slavenais "Madonna" Botičelli.