Baznīcas Celestines formā, kādā tā var redzēt šodien, tika uzcelta XV gadsimtā. Tās būvniecība tika uzsākta 1396. un tika veikts gandrīz simts gadus. Sākotnēji tur bija neliela koka kapela uzbūvēta virs apbedījuma vietu Pētera Luksemburgas. Par godu šim apbedījuma saucās un teritorija ap kapela - Place de Saint Corp. (platība svēto relikvijas).

Peter Luksemburga bija zināms, ka viņš ir kļuvis par augsta ranga garīdznieks jaunībā - 15 gadu vecumā viņš bija bīskaps Metz, tad drīz vien saņēma titulu kardināls, un 18 gadiem (1387) nomira no patēriņa. Pēc viņa apbedīšanas Avignon baumas par brīnumaino kardināls ir paliekām, un mūki ordeņa Celestines nolēma izveidot pār kapa klosteris. Ar svēto Pētera Luksemburga tika pievienots tikai 1527, bet pirms tam viņa relikvijas tika godināti bez oficiālas atzīšanas svētumu Baznīcā.

Vēlāk, blakus baznīcai Celestines kapela tika uzcelta par godu citā Saint - Benezeta, kas ir viens no visvairāk revered Avignon. Saskaņā ar vietējo leģendu, kas zemes dzīvē bija vienkāršs gans Benezet, ko Kristus parādījās un teica viņam būvēt Aviņonas tiltu pāri Rhone. Kad iedzīvotāji pilsētas pieprasīja Benezeta parādīt viņiem savu ekskluzivitāti un veikt jebkuru brīnumu, viņš veica pa pilsētu uz upi, un milzīgs akmens ir izraudzījusies viņiem vietu, lai izveidotu. Benezet dzīvoja XII gadsimtā un tika kanonizēja XIV gadsimtā.

Baznīca Celestines bija daudz vērtības - reliģisko mākslas darbus un piederumiem, kas tajā laikā Francijas revolūcijas tika nodedzinātas un pati baznīca bija pārvērtusies kazarmās. Izdzīvojušās relikvijas Celestines atrodami patvērumu citās baznīcās Avignon - piemēram, relikvijas St Benezeta apglabāts baznīcā Adeodata.

Pašlaik baznīca pagalms kļūst posms brīdī gada jūlija festivālā.