Vietā kārtējā Muzeju Calvet bija agrāk kardināls rezidence - Livre de Cambrai, nosaukts par godu reiz dzīvojis šeit D'Ayli Pierre Cardinal bīskapa de Cambrai. In 1719 ēka tika pārdota Francois-Renē de Villeneuve, Marquis de senjors d'Arzele un Martignano.

In 1734 viņa dēls Jacques-Ignace de Villeneuve nolēma paplašināt savas saimniecības un būvēt jaunu pili. Būvniecība tika sākta vadībā Thomas Laine, bet tad mainīja savus arhitektus Jean-Baptiste Francesco Frank un atklāti. Celtniecības darbi tika pabeigti tikai 1749. In 1802, viņš nopirka māju Deletro komersantam, kurš savukārt nodotas ēkas iznomāt Avignon iestādēm izvietot vākšanu šeit Esprit Calvet. 3. marts 1833 ēka tika iegādāta par pašvaldības Avignon par muzeju. 1.oktobrī, 1963 pilsētas māja Villeneuve-Martignano sarakstā vēsturisko pieminekļu Francijā.

Tā mājas viens no lielākajiem kolekcijas gleznas Francijā. Savākt vākšana sākās vietējo ārstu (numismāts, bibliofils un arheologs) Esprit Calvet, un vēlāk, 1810, viņš novēlēja savu gleznu kolekciju uz muzeju un bibliotēku. Muzeja eksponāti ir lietišķās mākslas, skulptūras, porcelāna, bet ļoti interesanta glezniecības nodaļu, kas aptver laikposmu no XVI līdz XX gadsimtā - par Vasari un Lukas Džordāno Dāvidam Corot, Manē, Bonāra un Soutine.

Šeit, pilsētas mājā Villeneuve-Martignano, ar kuru tika pievienoti modernas ēkas, tas ir galvenais kolekcija. Bibliotēka, Calvet un savāc ievērojamu kolekcija gandrīz 12 000 monētu un medaļu tika pārvietoti uz citām vietām.