东阳老城的“四名家”和“六族”大凡有一定历史的城镇， 必有所谓的望族 望族的形成， 不外乎人口的繁衍集聚和人才显宦的涌现，从而拥有相当的社会地位和声望东阳老城， 其形成至少有 1300 年了，在漫长的历史中， 形成了“四名家”和“六族”为代表的望族四名家为东李、 西乔、南俞、北杜六族为南岑吴、岘西杜、东眷韦、木香李、托塘张、双泉徐四名家四名家形成于南宋后期，均以仕宦众多闻名东李以处城东得名，西乔则与东李相对而言；上梓城巷的南俞与后街的北杜也系相对言之东李 也称“桂坡李”，系唐宗室之裔 始祖李舍（ 1045 ～1121 ）从福建避居睦州， 于北宋元祐庚午 （ 1090 ）迁居东阳城内南门积庆坊里仁里，邑内后裔衍为桂坡、木香两支桂坡李氏聚居城内东北隅新安街为中心的区域，始迁者为李舍玄孙李侃（ 1122 ～1180 ），“以地素饶桂，桂发而子孙必应科目，复有桂坡之名， 今称桂坡李云”（《东李宗谱李侃世传》）其宗祠在主簿塘北原农机厂所在乡间分衍李宅、南上湖东村、西堆、梅丰、 姜山头、 双牌、 上溪连、 雅溪连、 五马山、东里塘、虎路岭、后周等地后裔最著者为李侃幼弟李侍次子李诚之，受业于吕祖谦，乡举、太学舍选皆第一，蕲州守 将，祖孙、父子、翁媳俱抗金殉国，朝廷追赠朝散大夫秘阁 修撰，封正节侯，西门外原有褒忠祠奉祀， 《宋史》有传。
南宋时桂坡李氏有进士 5 人，其中李侃长子李大有太常博士， 次子李大同工部尚书、宝谟阁学士、金华开国伯桂坡李氏 有桂坡坊，坊上石碑刻录桂坡李氏科举中式者及职官，为十 四世明永乐十二年（ 1414 ）甲午科举人李叙立，始建于上南巷，明万历年间迁至新安街西乔 吴宁乔氏始祖乔德彰 （ 873 ～ 954 ）唐末自汴州迁东阳后裔衍为孔山、峨豸东西两宅或云西宅即西乔孔 山为城廓南弄南段西侧原婺剧团宿舍一带的一小丘，旧名孔 雀山，孔山为简称，与东门的里孔山相对，也称“外孔山”南宋宰相乔行简在此建“乔宅园”乔行简（ 1156 ～ 1241 ），城内孔山人，官至左丞相兼枢密使，爵封鲁国公，秉国政七年，是东阳籍官员中职务最高的历史人物， 《宋史》有传吴宁乔氏在南宋有 10 人中进士，孔山派进士除乔行简外， 还有乔行简之子乔元龙，侄乔为龙、乔从龙，族弟乔嚞（ 1175 ～ 1245 ）系嘉泰二年（ 1202 ）壬戌科傅行简榜进士第二人峨豸派则有乔行简从父、赠太子少保乔嘉言，监察 御史乔梦符，枢密使乔幼闻，两淮都总管乔宗亮，祖孙父子 四代仕宦后裔分衍沧江、乔宅等地南俞 《金山俞氏宗谱》载，监察御史任上退休的俞文杰（ 1055 ～1133 ），随高宗南渡，为访友来到东阳，见山川毓秀，民风淳朴，遂定居横店八面山下。
其子俞伦迁金山水阁，其孙御医俞全从水阁迁居城内崇德里，即今上梓城巷一带后裔分衍于北江、六石、怀鲁等地之康鹤山头、岢山、黄坭岗、下堰宅、金山、邓塘、水阁、乌竹岭厦、八字墙、石潭等处，也有远徙磐安玉山、诸暨灰山者南宋时有文武进士十余人，名人有三世敷文阁待制俞献可、七世兵部尚书俞惠、八世兵部尚书加都统大元帅俞伯旭、九世福州刺史俞玘，八世、九世更有叔侄武状元——景定三年（ 1262 ）壬戌科俞葵与咸淳四年（ 1268 ）戊辰科俞仲鳌，俞仲鳌为俞葵胞兄俞兰长子北杜 即岘北杜氏， 也称“东街杜”、“北宫杜”或“后街杜”始迁祖系北宋初杜必达 （ 940~985 ），后裔聚居龙井巷、 学宫后、北正街等处，其宗祠原在介福巷和北正街之东北交角北杜簪缨不绝，官宦众多最著者为宋嘉定十六年（ 1223 ） 癸未科武状元杜幼节（ 1206 ～1273 ），后街原有为其建造的 状元坊，系 1300 年科举史上惟一中了武状元后又中文进士之人杜幼节以后，其兄弟、堂兄弟杜幼伟、杜幼丙、杜幼 常、杜幼存、杜幼垢相继中文武进士，侄辈杜仕贤登咸淳乙 丑（ 1265 ）武进士四十余年间 7 人成进士，家族之显耀自不待言岘北杜氏分衍于市内乡间者有柏塔、 李宅、葛塘山、周官、环龙、林口等村。
六族所谓六族， 系明清及民国时期近 600 年间城内最具声望的六大宗族 封建时代， “吃皇粮”的公职人员不多，除知县、县丞、教谕、训导、典史等数名额定职官，外加差役、兵弁数十人，要管理偌大一个县，得依靠具有地方自治性质的宗族势力万余城内人口的管理，则仰仗分布于城内东南西北的六族由于六族分衍于乡村者甚众，因此，其影响也辐射乡间知县一到任，必拜访六族的要人民间一旦发生较大纠纷，首先投六族处理，县署（老市府所在）大门左前方的如泉馆常常成为当事双方约请六族头面人物处理纠纷的场 所而走法律程序，乃是最后的抉择清末废科举后， 六族为培养人才， 纷纷在城内创办小学南岑吴氏先后在南街天官第和棋盘街贞房小宗祠办广益小学，岘西杜氏在镇圣巷西端北侧之杜祠（今吴宁二校址）办南湖小学，东眷韦氏在十字街北端西侧之韦祠（原吴宁一校址）办宏道小学，木香李氏在东街中段南侧之李祠堂办宏猷小学，托塘张氏在大四宗祠（今东阳二中址）办新潮小学， 双泉徐氏在百岁坊巷东端北侧办东白小学除宏猷小学为初级小学外，其余均为完全小学这些学校成为清末和民国时期东阳城区基础教育的奠基者，新中国成立后合并发展为今日的吴宁一校和吴宁二校南岑吴氏 俗称“南街吴”。
南宋绍兴末年，时任婺州知州的仙居吴全智八世孙吴芾 （ 1104 ～1183 ）到东阳巡视， 爱东阳文献之邦，民风淳厚，山水秀丽，更为随侍身边的次子吴洪求学（于吕祖谦主师席的友成书院）所需，遂在恺悌坊边营建居室南岑所指，为县衙和南山之间的区域吴洪辞 官后奉父命于乾道九年（ 1173 ）定居东阳后裔分衍城内之房派有元房泮西、县前、腾蛟，亨房南街，利房县前、西岘门，贞房吴宅院、 西岘门、 节孝门， 仁房西街， 义房里仁坊， 礼房登云门，智房玉池、仁德；聚居于南街为中心的城西、南门、和平，拥有东城最佳地段后裔分衍白云、江北、六石、虎鹿、佐村、东江、湖溪、横店、南马等乡镇及磐安、义乌、嵊州、新昌等县市南岑吴氏在科举时代曾出过 4 名进士、 6 名举人及 540 余名庠生、贡监生明清两朝，出过九品以上官员 130 余名，较著者有明代翰林吴泽、吴希纯， 宣威将军吴良瑞， 抗倭名将吴良知， 应天府都督佥事吴良植； 清代平三藩之乱颇著勋劳的吴良森，义士吴良栻，学者吴国鸿、吴国濂，名医吴嘉熊民国期间有火腿业先驱、实业家吴嘉芝， 创办东阳中学、 广益小学的教育家吴允让 （吴一公）， 中共东阳县委第一任书记吴兆莘，禁烟特派员吴望伋中将，陆军军官学校教育长吴允周中将等。
岘西杜氏 也称“西街杜”始迁祖为黄岩人杜烨，南宋嘉定四年（ 1211 ）任东阳主簿， 爱东阳山川之秀， 风俗之醇， 也因次子杜思诚 （ 1206 ～ 1273 ）随任并赘于西门外马之纯家，始定居东阳西街峨豸坊（即红椿巷北口一带） ，以处岘峰之西名族《岘西杜氏宗谱》载，杜烨“卒于县之峨豸坊，子孙遂世为东阳之峨豸坊人”后裔聚居于西街为中心的银台第、红椿巷、西殿巷、墨林里、香店弄、旗杆里、杜台门里、西 街旧厅、太平里、西街新厅、竹涧弄、忠臣祠弄等处，乡间 则分衍桥头园、湖沿、甲后、后山店、杨塘、麻车埠、三板桥、白泥坎、杜店、 岩前、 秦塘、 城头、 夏源、 南溪、 横城、三朝、文南、七秩塘等 160 余处村落名人有明通政司参议 杜其骄，学者杜维熙，明末与朱大典同守金华壮烈殉国的杜学伸清初有循吏杜时萼近代有著名教育家杜佐周等 东眷韦氏 以外纪十世远祖、西汉丞相韦贤九世孙韦穆之号“东眷”名族始祖韦履淳（ 710 ～？），唐开元十七年 （ 729 ） 己巳进士，按《东眷韦氏家乘》 ，韦履淳任丞相府都事，杨国忠以其有时名却不为己用，天宝十一年（ 752 ）将其谪守岭南朱崖（今海南琼山县） ，后量移（远谪官吏遇赦就近任职）古婺法曹参军，李白、高适均有诗相赠。
韦履淳与戴叔 伦交好，建中元年（ 780 ）随（赴东阳任县令的）戴南来， 居城北龙泉坊（今龙井巷南端） ，举友谊、友直二男，厥后科甲蝉联，衣冠奕叶，宋代有 7 人中进士十四世后，由于子孙繁衍， 衍为东宅、 世德、 南宅、 旧宅、新宅、 溪南六房，后裔聚居城内梓城巷、北正街、新安街、老猪市、小东门、月门里等区域，乡间分衍茶山、康厦、银田畈、湖沧、士林下、学陶、甽干店、白火墙、荷花塘、奥里坑、上溪滩、下 溪滩、秀溪、后头塘、石马、西光、樟村、桥头、鲤鱼墩、 溪甘等地清代有名进士韦崧杰（嵩寿） ，近代有名医韦雪林、韦文贵，地理学家韦润珊等木香李氏 即“东街李”，与“桂坡李”源同流分始祖李光润（ 1249 ～ 1314 ）系李舍八世孙， 南宋末年因痛心故国， 恢复无望，以处州路总管都使退隐十字街之北大明堂，建木香亭于此，饮酒狂歌以明志，后以此名族而按《陇西木香李氏宗谱》，其外纪六世祖李遴之（ 1169 ～1230 ，李光润之曾祖父）自南街里仁坊迁居万寿坊，即十字街城内聚居于以东街中段、梓城巷、十字街及上市头为中心的区域，乡间分衍金盘、凤仪堂、三甲院、油麻塔、夏楼、樟树下、桑梓、竹园、沧浪、清潭、绕溪、下潘、麻车埠、五仓塘等地。
后裔名人最著者为李品芳，清道光三年（ 1823 ）进士，授翰林院编修、会试分校，官内阁学士兼礼部侍郎，著有《澹翁文集》此外有李品芳幼子、翰林李福简，学者李昂青、李梧岗民国有绥远高等法院院长、南京最高法院推事兼民庭庭长李祖荪托塘张氏 俗称“托塘张”，始祖张潮（872 ～ 945 ），五代后唐河南开封祥符县炼金墩人，唐昭宗乾宁进士，当五季之乱出宰东阳后晋开运二年（ 945 ），魔寇发难，张潮率长子张天贤战于官清岭，父子同日殉难次子张天宥匿城西莲塘内，啖莲实而托生，后因命村为“托塘”其后发族，聚居城西北里托、外托乡间析居城东、白云、江北、湖溪、横店、东阳江、马宅、南马、千祥等乡镇街道及周边县市 80余处村庄著名人物有明代学者张福显，四川布政使左参政张大轮， 福建按察使佥事张崇， 抗清英烈辽阳副总兵张良寅、皮岛援剿副总兵张贵， 明末兵部尚书、 被鲁王封为太子太傅、兵部尚书、武英殿大学士的张国维清初则有右赞善、翰林编修张烈；清末有办学义士张振珂民国时期有国民政府赈济委员会专员张红薇女士、国民政府内政部视察张乃恭、浙西游击总队少将司令张光、浙江第八行署专员兼保安司令张宝琛等双泉徐氏 始祖徐伯川（ 1093 ～ 1186 ），南宋建炎二年（ 1128 ）由龙游灵山徙居县北思贤坊孝义里 （今龙井巷南端东侧）。
四世祖徐雝（字宗绍）始于延福坊西创建祠宇，在下梓城巷北端开凿“双井”，其地遂被称为“双井头”，“双泉徐氏”族名也由此而来后裔聚居于城东北介福巷、百岁坊巷、北正街为中心的区域，乡间分衍燕山、石鼓岭、召庄、学士宅、枫树下、学研徐、八达、象螺、河头、水阁、青山头等地后裔名人有明代福建按察司佥事徐隆、福建建宁知府徐子玉、弹劾权阉刘瑾的徐玘、奉旨出使安南（今越南）的徐珙，清代有被赐翰林院检讨的徐爱莲、文人徐大酉、名医徐朝宗等。