Výstavy obrazů se ve Vysokém Mýtě pořádaly jistě od dob hlubokého 19. století, jedny z prvních se konaly na Pražské věži, a to péčí tehdejšího Městského muzea. Obrazové výstavy se ovšem konaly i později v nástupnickém Okresním, dnes Regionálním muzeu, se založením Městské galerie však měly a mají v rámci činnosti muzea pouze okrajový charakter. Od roku 1902 získal výtvarný život pro své účely zasedací síň okresního zastupitelstva v nově postaveném Okresním domě, vystavovalo se ovšem i v Sokolovně, v Panském domě, po hostincích i jinde. Institucionální galerie vznikla ale až roku 1957, ještě jako Okresní galerie, která pro svou činnost získala od města dům bývalého vojenského kasina. Když kasino v roce 1970 zabrala Sovětská armáda, galerie se ocitla na dlažbě... Po řadě improvizací (2 výstavy se konaly mj. i ve značně zchátralé budově bývalého Okresního soudu) od roku 1972 do roku 2011 galerie sídlila v budově Okresního domu. Vedle svého hlavního výstavníého sálu - Výstavní síně Jana Jušky, tu měla i kanceláře a depozitář. V červenci 2011 se však pro neshody ohledně neúměrně vysokého nájmu s aktuálním majitelem budovy (kterým je akciová společnost Immotel) odstěhovala do prozatímních prostor, které by na sklonku roku 2013 měla vyměnit za rekonstruované části (1. a 2. poschodí) budovy bývalého Okresního soudu na náměstí Přemysla Otakara II.