扬州八怪纪念馆是国内外唯一以展示和弘扬“扬州八怪”艺术成就与创新精神的专业性纪念馆。是一座有着800年历史的西方寺大殿，唐永贞元年(805)始建，明洪武五年(1372)重建。后屡有修葺。成丰三年(1853)除大殿外，余皆毁于兵火。同治、光绪间相继复建。现存大殿为明代建筑，歇山重檐，楠木结构，通面阔三间，梁枋有彩绘。柱下有木板基本完好。另有两厢廊房、方丈室等清代建筑。清书画家“扬州八怪”之一金农居此度过晚年。1992年起进行全面大修，重建了山门殿等建筑，辟为“扬州八怪纪念馆”，对外开放。1949--1981年市公交公司、四望亭居委会等单位负责管理使用，用作职工宿及居民居住;1982年，西方寺大殿被江苏省人民政府公布为第三批省级文物保护单位：1982-1993年扬州市文物管理委员会负责管理;1990-1993年修缮，筹建扬州八怪纪念馆;1993年至今，由扬州八怪纪念馆负责管理;1995年徐家祠堂移建于此，辟为李亚如书画陈列厅;2006年4月金农寄居室进行保养维护：2018年7月，对大殿其进行全面修缮，对方丈室等建筑进行油漆保养。馆内编制5人，合同制17人，包括夜班工作人员3人