Музей основан 7 апреля 1939 года. Имя основоположника современного осетинского искусства Махарбека Сафаровича Туганова было присвоено ему в апреле 1971 года. Основу коллекции составили произведения, полученные в 1939-1940 гг. из Государственного музейного фонда СССР. В первые послевоенные годы в собрание музея почти полностью вошла коллекция художника-реставратора В.В. Сафронова (русская живопись, графика XIX - начала ХХ веков). В 1981 году фонды музея пополнились картинами и рисунками русских художников XIX века, переданными в дар московским коллекционером Г.М. Голковским. Собрание музея располагает также большим отделом уникального самобытного национального искусства, позволяющим проследить всю историю его становления и развития.