20世紀初期，楊以德在今南開區(qū)二緯路和二馬路購地二十余畝，修建了一所四合院和一座具有中國古建筑風格的園林別墅，園林別墅被人稱之為“楊家花園”。1921年，楊以德將南開二緯路原四合院建筑拆除，重建了一座中西合璧的帶地下室的三層樓房（今南開區(qū)二緯路41號），花園原地蓋成了戲樓。整所樓房占地1019.6平方米，建筑面積為1575.6平方米。磚木結構，歐式高坡屋頂，紅磚綠頂，有仿古突出的外檐，正門兩側有愛奧尼克式柱，中間高臺階，南立面為兩層外柱廊。底層是客廳、餐廳，書房等；二層是臥室及貯藏室；三樓有房屋21間，有寬闊的平臺。地下室供傭人居住。宅院另有數間平房及汽車庫。

解放后，楊以德舊居由北京軍區(qū)廊坊軍分區(qū)接收，原花園部分已改建為居民住宅。該舊居在1976年地震中受損，1983年北京軍區(qū)曾進行維修，整個建筑除地下室在維修時被隔成13間房屋，作宿舍和辦公用外，其余房屋均保持原有風貌。