Dnešní budova muzea vznikla v místech bývalé střelnice litovelských střeleckých spolků, které ve městě existovali téměř půl tisíciletí. V polovině 19. století byla budova centrem ještě národnostně nerozděleného spolkového života. V roce 1906 sem bylo přeneseno Městské muzeum, které shromažďovalo a vystavovalo své bohaté sbírky – archeologické, etnografické či např. numismatické. Sbírky byly v 50. letech 20. století zestátněny a Litovli se již nevrátily.

Po poslední přestavbě počátkem 21. století v přízemí vznikla velká restaurace a v 1. patře opět prostory muzea, kde je expozice řemesel 1. poloviny 20. století a konají se zde krátkodobé výstavy.

V lednu 2016 byly po úpravě podkrovních prostor muzea otevřeny dvě stálé expozice: Gustav Frištenský a Od mechanického hracího strojku k modernímu gramofonu.