Sākotnējais Ebreju muzejā Vīnē tika dibināta 1896. gadā un bija pirmais šāda veida muzejs pasaulē. Muzejs ir pastāvējusi ar atbalstu "biedrības vākšanu un saglabāšanu mākslas un vēstures pieminekļi ebreji." Viņš koncentrējās uz vēsturi un kultūru ebreju Austroungārijas impērijā. Viņa kolekcija objektu un produktu Palestīna atspoguļoja arī politiskās debates par cionisma. Muzejs tika slēgta uzreiz pēc okupācijas Austrijas ar nacistiem. Pagājušajā gadā tās pastāvēšanas, tas bija 6474 dažādus priekšmetus. 1939.gadā tie tika pārcelti uz etnoloģijas muzejs, un citām institūcijām.

Lielākā daļa no posteņiem tika atdoti ebreju kopienai 1950 sākumā, bet dažas izdevās atgriezties tikai 1990. gadā. Daudzi no eksponātiem tika zaudēts. Kad jaunais Ebreju muzejs ir uzskaiti, tika konstatēts, ka puse no sākotnējiem posteņiem bija pazudis. Bet pārējās lietas ir ļoti reti eksponāti, kas pārstāv kā objektu ikdienas dzīvē, kā arī unikāliem materiāliem.

31. decembris 1964 neliela ebreju muzejs tika atvērts jaunceltnē uz Tempelgasse, bet saņēma gandrīz neviens sabiedrības uzmanību. Pēc 3 gadu laikā muzejs ir slēgts.

Pirmā izstāde jaunajā Ebreju muzejā Vīnē atklāta 7. martā, 1990 pagaidu telpās birojos ebreju kopienas. Ievērojama daļa no izstādē veidoja kolekciju Max Berger. 1992. gadā muzejs pārcēlās uz tās pašreizējo mājās pilī Eskeles Doroteegasse. Muzejs tika atvērts gadu vēlāk, 1993. gadā. Bibliotēka tika atvērts sabiedrībai kopš 1994. gada.

Kopš 2011. gada rudens, muzejs vēra durvis pēc pilnīgas renovācijas, tāpat kā pati ēka, un atjaunināt pastāvīgā ekspozīcija. Atjaunota Ebreju muzejs apsveic apmeklētājus uz jaunās apgaismojuma sistēma, kas tika veikta saskaņā ar oriģinālu. Pastāvīgā ekspozīcija muzejā atrodas trīs zonās.