С началом Великой Отечественной войны работа музея постепенно сворачивалась, и в июле-августе 1941 года сотрудники музея К.Л.Иванов – заведующий фондами, Р.В.Соколов, Л.А.Афанасьева подготовили наиболее ценные экспонаты (фарфор, фаянс, слоновую кость, керамику, ткани, ковры) и научный архив к эвакуации. Эвакуировано было 12 ящиков с разным имуществом, 8 тюков ковров, и еще 2 отдельных места.
Путь экспонатов лежал через Сталинград, оттуда в августе 1942 г. коллекции музея были вывезены в Уральск (Северо-Казахстанская область), Красноярск, Новосибирск.
Здание музея (бывший дворец эмира Бухарского) сгорело в первые дни оккупации, сохранилось только то, что не поддавалось огню. После пожара Лидия Агафоновна Афанасьева и Елизавета Ивановна Висниовская смогли перенести и сохранить уцелевшие коллекции, которые не были отправлены в эвакуацию. Позже Елизавета Ивановна Висниовская скончалась в тяжёлые годы оккупации (8 апреля 1943).
В ноябре 1944 года экспонаты Ялтинского краеведческого музея возвращаются из эвакуации. Вернулось не все: восемь тюков с коврами и два отдельных места пропали. Музей возобновил свою работу в апреле 1944 года в Доме учителя.
Временно исполняющей обязанности директора была назначена Л.А.Афанасьева. Она проработала в музее до 1988 года. Лидия Агафоновна пришла в музей в 1934 году и прошла нелегкий путь от экскурсовода до заместителя директора по научной работе. В трудовой книжке, хранящейся в фондах музея, большую часть занимают благодарности и поощрения. Более 50 лет своей жизни Лидия Агафоновна посвятила музею. Благодаря ей были сохранены во время войны многие музейные экспонаты и восстановлен сам музей после войны.
