余庆堂之名出自《周易·坤·文言》：积善之家，必有余庆，意思是积德行善之家，恩泽及于子孙。余庆堂与东面相邻的积善堂、日新堂合为“三台九门堂”，均为吴氏32世吴熙连所建。吴熙连，字振兴，号国利，嘉庆丙辰年（1796）——咸丰辛酉年（1861），吴氏后辈说1861年，刚好是太平军侵扰仙居那一年，仙居人称“长毛乱”，太平军侵扰仙居自1861年10月28日至1863年正月，历时1年零3个多月。因为“长毛乱”，吴熙连骑马雇两个担脚挑担去田头赶集市扫货，买一些日用品留待战乱备用。路上遇见太平军士兵，士兵欲杀这两个担脚工，两人撒腿就跑，一士兵用长矛枪把吴熙连刺翻在地，掉入别人的一块田里，据说他想奋力爬到隔壁自己的那块田里，想死在自己家的田里，终因伤势严重，未爬到自己的田里，便体力不支而亡，这恰好印证了他生前有一个看相人所说的，说他 “生前万贯家产，死无葬身之地”。

据传，当年积善堂、日新堂二台宅院造好后，留下大量的剩余木料，为了充分利用这些木料，就造了余庆堂这座宅院。据宅内老人称，吴熙连虽为大财主，但是他和夫人一生省吃俭用，十分节约，据说有一次他夫人去田里为他家做工的长工们送毛芋作为点心，她自己却连毛芋的壳也舍不得扔，把毛芋壳翻过来吞到肚子里充饥。

因场地所限，余庆堂为三合院式，两进，分前门堂和后门堂，建筑面积达1033.93平方米。前门堂卵石铺地，大门进来，直接进入天井（门堂），缺乏门厅，也就少了门楼左右二间大房。前门堂长11.3米，宽10.73米，呈正方形，正堂及左右两厢均为面宽三间，高二层。后门堂长10.37米，宽仅有4.36米，两端各有一间房子，称花坛间。

余庆堂房子为木结构，二层，楼高六米，为穿斗式抬梁式混合结构。一楼为穿斗式，每榀为七根柱子，中柱为栋柱，前后依次为前大步柱、后大步、后小步柱和檐柱，前大步柱与前小步柱之间还有一根柱子，长度只到楼板，主要作用使板壁更加牢固。二楼则为抬梁式结构，由栋梁柱头、蝴蝶头、桁、椽、梁下杄、大梁头、小梁头、骑堂等构成。