扫叶楼始建于1664年,明清式样,砖木结构,覆小瓦,二层,建筑面积约400平方米,占地面积约270平方米,楼前翠竹婆娑,绿树掩映,平台远望,楼后庭院内假山层叠,与善庆寺前石阶结合一体,善庆寺亦明清式样,建筑面积929.7平方米,占地面积1430平方米。1979年重新修复扫叶楼时将楼后庭院与善庆寺连成一体,成为一组结构完整、景致优雅的古建筑群。扫叶楼系明未清初“金陵八家”之首龚贤晚年居所,因其自写扫叶僧状小像故名。龚贤（1619－1689）字半千,号半亩居人,清凉山下人等。清军攻占南京后,龚贤悲愤出走,漂泊海安、扬州等地十余载,晚年回归南京购清凉山荒地半亩,建屋四椽,号“半亩园”,栽花种竹,深居简出,不事权贵,以卖字画教学为生,悠闲自得,著有诗集《草香堂集》和《课徒画稿》。清咸丰年间,楼毁于兵火,光绪十五年（1889）奉敕重建,1901年与1914年两度重修。
    “文化大革命”中遭破坏,1979年10月修复,并将楼后善庆寺与楼侧茶社以花墙围之,构成一组古建筑群。为了弘扬民族优秀文化传统,增进国际国内的文化艺术交流,亦为纪念龚贤这位卓越的爱国画家,政府投资于2000年初在“龚贤故居”的基础上设置龚贤纪念馆。纪念馆的门楣上有当代著名书画鉴定家徐邦达题写的馆名,一楼为展示厅,集中展示当代著名书画家林散之、萧娴、陈大羽、费新我等书写的与清凉山有关的诗篇以及龚贤的诗句。楼上为陈列室,陈列柜中展示的是龚贤书画精品及诗文研究成果。楼后两个展厅不定期举办当代名家的书画艺术展览。该纪念馆是一座集陈列、展览和学术交流为一体的高雅文化场所。扫叶楼1957年定为江苏省文物保护单位。