據史料記載，樂安建縣于南宋紹興十九年（公元1149年），由崇仁、永豐兩縣柝地而置，以樂安鄉(xiāng)名縣，駐地鰲溪鎮(zhèn)。相傳早在北宋乾道三年（公元997年），有詹姓人氏遷居于鰲溪鎮(zhèn)，此地原僅有數戶鐘姓人氏居住。詹姓人氏在四面環(huán)繞的群山中發(fā)現一塊長滿蘆葦、較為平坦的盆地，視為風水寶地，遂大舉遷徙于此繁衍生息，逐漸取代了鐘氏。稱此地為詹墟，因河中有一塊巨石，酷似鰲魚，故稱鰲溪。

據《樂安民國風云》一書介紹：到民國，縣城鰲溪鎮(zhèn)形成了游、何、元、詹為主四大姓氏，輔之樂、陳、胡、李、鄒、黃六姓氏的格局，這10姓人口占縣城總人數的90%以上。

這些姓氏以宗祠為中心，形成固定的居住區(qū)域，如詹氏在蕪塘巷四周；游氏環(huán)繞寶塔巷，居于小南門和南門巷；元氏大都居住在北門和東門巷；何氏居民主要居住在西門巷。

民國時期，縣城主要街道為東門口至衙前巷，全長約3華里，街道中心鋪長條砂崗巖石，沿街有店鋪一百來戶，多數為“前店后房”結構。衙前巷是該縣唯一保存比較完整的砂崗巖條石路的街巷，蕪塘巷的司馬第由三座門門坊穿插，顯示了詹氏家族不凡的氣度和人文底蘊。清末民初，樂安游氏富甲一方，經營傳承數代人的“游泰順”商號是縣城最大的商號，其在省城南昌有三家分號，樂安周邊鄉(xiāng)鎮(zhèn)還設立了分店和毛邊紙作坊17處，穿過游氏總門，可看見這兩處宗祠建筑。

“游氏大祠”始建于明代，清代維修過，周恩來同志曾在此居住。1932年8月17日，紅一方面軍攻克樂安城，當天晚上，蘇區(qū)中央局在周恩來住地“游氏大祠”召開縣城商人會議，宣傳黨的工商業(yè)政策，為中央蘇區(qū)做出了樣板。次日，紅一軍團指戰(zhàn)員開赴宜黃，乘勝攻克了宜黃城。

樂安縣城還有大元巷的“毛澤東同志舊居”，在撫州，只有樂安縣城有保存完整的兩位領袖人物舊居。1932年8月，毛澤東在樂安縣城最后一次指揮了中央蘇區(qū)第四次反“圍剿”前期的一次戰(zhàn)役——“樂宜戰(zhàn)役”。