Samo Muzeum Książąt Czartoryskich początkowo zajmowało tylko część pomieszczeń późniejszego kompleksu muzealnego. Po wybuchu II wojny światowej najcenniejsza część zbiorów została ewakuowana i ukryta w pałacu w Sieniawie. Już w połowie września 1939 Niemcy dowiedzieli się o kryjówce i rozpoczęli grabież, w wyniku czego bezpowrotnie przepadła większość zgromadzonych wcześniej w tym miejscu dzieł sztuki. Przez całą niemiecką okupację Krakowa grabież była konsekwentnie kontynuowana. Po wojnie większość eksponatów odzyskano, niemniej przepadły 64 obiekty ze Szkatuły Królewskiej, 156 obiektów złotnictwa starożytnego, 104 obiekty złotnictwa nowożytnego oraz 375 złotych monet. W 1950 majątek został włączony do krakowskiego Muzeum Narodowego jako jeden z jego oddziałów. Ze względu na brak podstaw prawnych do przejęcia ruchomych dóbr Czartoryskich, nie dokonano formalnej nacjonalizacji zasobów i status własnościowy kolekcji i budynków pozostał nieuregulowany.

11 stycznia 2010 roku rozpoczęto gruntowny remont muzeum i od tego czasu placówka była zamknięta do końca 2019r.