杭城上城區(qū)馬坡巷16號最初是清朝桐鄉(xiāng)貢生汪淮所購的中式宅院，園內(nèi)原有水池、三曲橋、假山等。因傳聞北宋大書法家米芾之子在此留有遺址，便以“小米”二字定名，稱“小米山房”(俗稱小米園)。

清乾隆五十三年(1788)軍機(jī)處行走龔禔身辭去朝官，回家鄉(xiāng)杭城后，正值汪家敗落，趁機(jī)買下小米山房為終老之所，孫子龔自珍就在小米園出生并求學(xué)。龔自珍的父親龔麗正，精于史學(xué)，著有《國語韋昭注疏》等；其母親也是通書達(dá)理的大家閨秀；外祖父段玉裁更是精通文字學(xué)，重要著作有《說文解字注》、《毛詩詁訓(xùn)傳》、《古文尚書撰異》、《六書音均表》、《周禮漢讀考》、《儀禮漢讀考》、《經(jīng)韻樓集》等，學(xué)問精深淵博。當(dāng)龔麗正于嘉慶年間考取進(jìn)士不過幾年，敬身、自珍及藻身這三個兒子相繼中舉，并在道光年間也先后考中進(jìn)士，三兄弟并稱為杭州“東城三龔”。

龔自珍不僅出生在杭城，而且晚年有段時(shí)間回歸故里，主持過杭州紫陽書院。小米園歷經(jīng)數(shù)百年后衰敗，僅存殘園和一廳。1988年進(jìn)行修復(fù)，將該園辟為“龔自珍紀(jì)念館”對外開放。占地六百多平方米，兩層樓房，上下五開間，兼有耳房，雕梁畫棟，古樸典雅。館內(nèi)正廳安放龔自珍半身古銅色塑像，四周懸掛沙孟海、趙樸初等名家提寫的匾額、楹聯(lián)。四個展室，陳列了龔自珍生平圖文簡介、大事年表、史料、龔氏年譜、詩選和后人研究文集等。庭院內(nèi)小橋流水、假山亭榭，在花木襯托下，富有江南園林的特色。紀(jì)念館大門朝東，石庫門上方鑲著一塊石匾，刻著“龔自珍紀(jì)念館”六個字，由趙樸初先生題寫。門外立有一塊石碑，上刻“杭州市市級文物保護(hù)單位：小米園”，進(jìn)馬坡巷一百多米就能見之