Варнавинский историко-художественный музей расположен в двухэтажном каменном особняке – бывшем главном доме городской усадьбы купца Селиванова, которая является объектом культурного наследия регионального значения, памятником истории и культуры. В усадьбу входят, также, ограда с двумя воротами и флигель. Все постройки были возведены из красного кирпича в 1880-е годы. С 1992 года в этом здании размещается музей.