Калужский музей изобразительных искусств был открыт 12 июня 1918 г. в доме врача Н.И. Васильева, завещавшего принадлежавшую ему художественную коллекцию родному городу.

До 1924 г. Художественный музей существовал в качестве самостоятельной музейной единицы, в 1924 г., наряду с остальными калужскими музеями, вошел в состав так называемого Калужского Объединенного Музея, превратившись в отдел последнего.

Во время Великой Отечественной войны коллекции музея вывезти не удалось, значительное количество произведений из собрания было утрачено.

В 1969 г. музею было передано главное здание городской усадьбы Билибиных-Чистоклетовых, выдающийся памятник архитектуры начала XIX в.

С 2014 г. музей носит название «Калужский музей изобразительных искусств». Имеет филиалы: Тарусскую, Ульяновскую, Хвастовичскую, Мосальскую картинные галереи, а также Информационно-образовательный и выставочный центр в Калуге, и является методическим центром для художественных галерей области.