吴氏开宗于周代。周时人太伯、仲雍兄弟，让王位于弟季历，避居荆蛮，纹身断发号“勾吴”，荆蛮部落护立为王。周武王当朝时，仲雍后裔周章已为吴君，遂封其为吴国君，周章后裔于此以吴为姓。
　　南靖县金山镇安后村吴氏祖先吴世崇于明朝正统十二年（1447年）从本县龙山涌口迁移到金山安后（俗话溪子尾）开基，至今已经562年，传衍22代。居住在金山镇安后、金山、荆美、东建、大山、荆都和龙山梧营7个村。
明朝正统十二年三月，吴世崇和他的父亲光雀，肩挑行李，从南靖县龙山镇涌口村大寨脚迁居到金山镇安后，在蔡员外家当佣工。
　　世崇父子为人老实忠厚，精通田里农活，起早摸黑干个不停，很受蔡员外器重。几个月后，吴世崇向蔡员外请求，我因妻子不幸早故，留下3个儿子，现寄养在岳父家中，能不能带来你家？蔡员外答应了他的请求。几年后，蔡员外病故。员外夫人分3间房子给世崇父子，让他们自立门户。在员外夫人的资助下，世崇续弦，娶坑内罗氏为继妻，生下一子。
转眼几十年过去，世崇已年届花甲，4个儿子，长、次娶妻生子，另外两位夭折。为了让子孙今后更好发展，世崇决定搬出蔡家，　　在小溪岸边盖了两处平房。他率领全家，披荆斩棘，开拓田地。几年后，开成一片良田，家境逐渐富裕，人口也不断增加。
　　明朝成化三年（1467年），吴世崇逝世，享年65岁。乾元、乾礼兄弟继承父志，继续开拓发展。明朝嘉靖年间，世崇裔孙兴建“崇德堂”（又称溪子大宗），祠堂占地面积264平方米，坐北向南，主堂面阔3间，进深3间，抬梁式构架，悬山顶，梁架彩绘人物花卉。前、后堂8根圆石柱刻有4副对联。墙基、石门均用规格条石铺成，大门左右有一对石抱鼓，浮雕鸟兽纹饰。
　　1993年春，旅居台湾裔孙吴如同先生首先捐款港币1000元，带动众乡亲捐资修缮祖祠，于1995年元月竣工，同年3月28日举行隆重的庆典活动。
　　1998年，崇德堂被列入南靖县第四批文物保护单位。
崇德堂吴氏后裔，曾有部分人员迁徙台湾，族谱记载如下：
　　肖林公后裔，仕让—有降——金鸡之子，伍拾，解放前开往台湾。
　　性冲公后裔（东建廍子），兄弟文茶、文局，约于清乾隆年间开往台湾。
　　性冲公后裔，学说房后裔，开往台湾，曾寄款回乡修祖祠。
　　下厝恩荣后裔，歪岸之子，山林，解放前开往台湾。敏德公后裔，怀德（又名芋头），约于1940——1942年往台湾，他长子吴国柱（又名恩培），现仍居住台湾。
　　下厝初升公后裔，吴榕根的嗣子吴民强（又名打铁仔），解放前往台湾。
　　上厝肖林公后裔，金山圩吴德天长子吴镇城，解放前往台湾。
　　下厝河洋季仍公后裔，金山田中央（原制都打铁寮）吴水泉之子展森，居台湾。
　　下厝河洋季仍公后裔吴如同（又名茶炉），约于1941年左右开往台湾，子女一部分仍在台湾。
　　上厝肖林公后裔，吴国樑（又名海生），解放前（厦大毕业）重庆特种训练，毕业后派往台湾省任岗山中学校长，兼省督学，后晋升文学教授，曾出国往新加坡讲学，多年后回台湾。现子女都居住台湾。
　　隆显公后裔，梧营房，12世后裔，世甘之子孙，在台湾台北、桃园、台中等，有70多人次曾回乡重修世甘坟墓。这支系在台湾人丁兴旺。
　　2008年12月4日，台湾嘉义县朴子市市民代表、副主席吴心俊伉俪（妻子翁淑英，嘉义县朴子市妇女会理事长）首次回到金山镇安后村寻根谒祖，通过查对族谱，其祖先名瑟，属于下厝房，元一辈，开往台湾，至今已300多年。终于找到了自己的祖宗，吴先生夫妻非常高兴，在宗祠前与祖地宗亲合影留念。他表示，回台湾后，要向亲人们汇报祖地情况，在适当的时候，组团回来南靖恳亲祭祖。（南靖县台联　颜美珍）