Tā kā tika plānots, ka muzejs būšot pasaulē lielākais gan izmēru, gan kolekcijas ziņā, Hitlera pārvaldībā 30. gadu beigās sākusies vēsturē ievērojamākā mākslas darbu masveida izzagšana. Sekojot Ādolfa Hitlera pavēlēm, muzeju un privāto kolekciju izlaupīšanas galvenokārt veica nacistiskās Vācijas spēki.

Hitlers iecerēja Lincā izveidot ne vien muzeju, bet arī veselu "kultūras rajonu", viņš vēlējies pārbūvēt Lincu, lai tā kļūtu par jauno Eiropas kultūras centru. Vēsturnieki pieņēmuši, ka diktators gribējis, lai Linca ir ietekmīgāka par mākslas lielpilsētu Vīni, jo jaunības gados viņam divas reizes tika atteikta uzņemšana Vīnes Mākslas akadēmijā.

1939. gadā Hilters Drēzdenē nodibinājis komisiju, kuras uzdevums bijis vākt mākslas darbus gan fīrera muzejam, gan citām mākslas galerijām Vācijā. Mākslas darbu un arhīva materiālu konfiscēšanai, transportēšanai un uzraudzībai tika nozīmēti simtiem nacistisko spēku kareivji. Iecerētā mākslas kolekcija tika vākta dažādos veidos. Lai arī galvenais paņēmiens bija mākslas darbu piesavināšanās, Hilters arī sūtīja karavīrus uz Itāliju un Franciju, lai gleznas iegādātos.

Kā liecina vēstures avoti, bijis plānots, ka muzeja celtniecība ilgšot līdz 1950. gadam. Kā zināms, nedz muzejs, nedz to ieskaujošais ēku komplekss uzcelts netika, tomēr vienīgais, ko no Hitlera plāniem izdevies īstenot, ir Nībelungu tilts, kas Lincā apskatāms arī mūsdienās.

Ņemot vērā Hitlera skices, muzeju plānojis Roderihs Fiks, savukārt Lincas jaunā plānojuma izstrādi pārraudzījis nacistu arhitekts Hermans Gislers. Muzejam apkārt esošajā kompleksā bija domāts uzcelt operas namu, viesnīcu, teātri, parādes ceļu, bibliotēku. Pati muzeja ēka – neoklasicisma stilā būvēta celtne ar desmitiem metru platu fasādi un kolonādi. Arhitekti izstrādāja muzeja maketu un paredzēja kilometriem garas izstāžu zāles, kurās ietilptu aptuveni 27 000 mākslas objektu.

Muzeja modelis tika izstādīts 1945. gadā Reiha kancelejā, kur to rūpīgi pētījis Hitlers. Vēsturnieki rakstījuši, ka Hitlers maketu aplūkojis ārkārtīgi bieži, reizēm vairākas stundas klusībā sēžot tam blakus.

Mūsdienās mākslas pētnieki lēš, ka Otrā pasaules kara laikā pazuduši vai iznīcināti vairāk nekā 200 000 mākslas vienumi. Tāpat kara laikā bojāti vai nozagti vairāki simti tūkstoši kultūrvēsturiski vērtīgu sadzīves priekšmetu.

Jau ziņots, ka daudzus no vērtīgajiem mākslas objektiem izdevies atgūt, galvenokārt pateicoties 1943. gadā dibinātai mākslas zinātnieku komandai, kas īpašā relikviju, tēlotājmākslas un arhīvu programmā (Monuments, Fine Arts, and Archives program) centās saglābt kultūras bagātības. Amerikāņu uzņēmējs un rakstnieks Roberts Edsels par mākslas vēsturnieku grupu sarakstīja grāmatu, pēc kuras motīviem 2014. gadā izlaista filma "Monuments Men" ("Relikviju mednieki").