此堂之名取自《大学》：“殷之未丧师，克配上帝。仪监于殷，峻命不易。道得众则得国，失众则失国。是故君子先慎乎德。”慎德堂建于清代，为吴树风、吴熙河（吴熙河，吴氏32世，嘉庆戊午年1798—同治乙丑年1865）父子二代同建，他们注重修养德行，以德育人，勤俭持家，崇学重耕，是典型的耕读世家，书香门第。据堂内老人口述，吴树凤原住在良潭村，当初入住高迁时，家里很穷，家里没什么家产，只带一口小铁锅来到高迁。据说有一天早晨上山砍柴的路上，捡到一件衣服，舍不得自穿，拿到集市上卖了三块白洋（银元），以此银元买了三亩田，后来又养了一只乌眉鸟，到当时的县城去，与家住城关王氏斗鸟获胜，赢的12块银元，又以此银元买田12亩，从此典租土地收租、放利，财富不断积累，不断置田造宅、还聘请私塾老师教育子孙后代，后代共有4位儿孙考上秀才、1位童生。相传曾出过一位读书奇人吴茳溪（1840-1892）此人为台州府六县秀才头名，常常替人代考，是远近闻名的 “枪手”。三百多年来，此堂走出去的大学生留学生与六十多人，其中有清华大学教授一名、黄埔军校学员二名。

慎德堂是高迁古古民居中保存完好、建造精美、规模宏大的宅院，高二层六米，建筑面积达2286.39平方米，仅次于新德堂。据堂内老人讲述，此堂遇红白喜事，可摆36张八仙桌酒席。共三进，分为前院、中院和后院。此堂与南面的镇德堂、大书院（已毁），共成三台九门堂。沿中轴线有入口、前院、正堂、中院、后堂、后院。正堂明间开敞，正堂及左右两厢均为面阔三间。

这种三进式的宅院，全部加起来的厢房大约是28间。建筑面积2288.33平方米。

据说东厢房是明媒正娶的大老婆居住，西厢房是第二个老婆居住，后院的东西厢房为父母大人居住，未出阁的小姐则住在后院的阁楼上，剩余的厢房是给其老婆、儿子与儿媳妇居住的。世代居住其中，其乐融融，富有温馨祥和的家庭气氛。