来源堂地址位于月鹿河南面，位于上屋村，但吴熙连、吴培积是下屋村人，所以算下屋村。来源堂取自南宋诗人朱熹的《观书有感》全诗是：“半亩方塘一鉴开，天光云影共徘徊。问渠哪得清如许，为有源头活水来。”北面是大路塘，东面是小路塘，状如元宝亦称“元宝塘”。

此堂为吴氏33世吴培积（吴培积为吴熙连第二子，道光乙未年1825—光绪乙亥年1875）建造，亦有说法为吴熙连（字振兴，1796-1861）所建，吴熙连共有五个儿子，即培美、培积、培益、培沂、培阜（即吴凤鸣，余庆堂“积善余庆”匾主人），有可能是两代同建。来源堂宅院现存两进，中轴线上依次为门厅，前院、正堂，正堂面阔三间，高两层。围绕前院设有檐廊，局部房子已经破损严重，部分檐柱已经损毁，已有砖柱暂时支持，此宅现状相对破旧。来源堂建筑面积为1253.35平方米。

据吴旭简老人介绍，来源堂西面有很多商铺，如药店、屠行、染布店、南货店等。

吴培积是吴熙连第二子，也是家族的外当家，曾是余庆堂、积善堂、日新堂的大管家。据说此堂是吴培积在建造上述三堂时积累下的私房钱造的。