从时间上看，东阳在乡“三大宅”崛起于南宋中前期。而到南宋后期，东阳城区涌现的“四名家”成为一股新兴力量，人才方阵主力逐渐转至城区。
“在城‘四名家’是指在东阳城区闻名遐迩的四大望族，这些家族都以仕宦众多而闻名，他们的聚居地刚好位于老城的东南西北四大方位。”吴立梅解释，“四名家”分别是位于城内东北隅新安街一带的“东李”，位于西街峨豸坊的“西乔”，居于上梓城巷区块的“南俞”，聚居于城北后街（龙井巷北镇楼以北段）的“北杜”。
东李又称“桂坡李”，至今城区新安街还留存着一座牌坊——桂坡坊。此坊为桂坡李氏十四世、明永乐十二年（1414）举人李叙所立，坊额正反两面刻录桂坡李氏进士12人，职官及有功名者121人，洋洋大观。桂坡李始祖李舍，于北宋元祐五年（1090）从睦州迁至东阳城内南门积庆坊里仁里，后裔衍为桂坡、木香两支，李舍的玄孙李侃后来迁至城内东北隅新安坊，史称桂坡李，南宋时该支系就有进士5人。如今，桂坡李最大的聚居地是城东街道李宅社区。
唐天复二年（902），陕西新丰（今西安临潼）人乔德彰来东阳任县令，任满后留居东阳城内西街峨豸坊，后裔衍为孔山、峨豸两派。孔山旧为一处小山丘，俗称孔雀山，其址在今城区城廓南弄的南段西侧，与位于东门的里孔山相对，故也称外孔山。南宋时孔山人乔行简（1156-1241）官至左丞相兼枢密使，封鲁国公，是东阳籍官员中职位最高的人物。南宋时期，吴宁乔氏有10人中进士，“西乔”风光之盛一时无两。
南俞的始迁祖是长安人俞文杰，南渡后因访友而至东阳，定居于乘骢乡八面山下。其孙俞全后来迁居城区崇德里，即今上梓城巷一带。南宋时，俞氏有文武进士十多人，其中俞葵、俞仲鳌叔侄先后中武状元，传为佳话。
北杜即岘北杜氏。北宋初年，长安杜陵人杜棱官至梁朝尚书右仆射，逝后赐葬东场（五代和北宋初年东阳旧称）。其子杜必达为父守墓，迁至城北后街，后裔聚居于龙井巷、学宫后、北镇街等处，因此又称“东街杜”“北宫杜”“后街杜”。南宋嘉定十六年（1223），杜幼节考取武状元，杜氏为其在后街建造了状元坊。之后，杜幼节经礼部科试，又考取文进士，创造了中国科举史上的奇迹。40多年间，杜氏共7人考取文武进士，家族之显耀自不待言。
从数量看，在城“四名家”考取进士数量大大超过了在乡“三大宅”，为东阳缔造了又一个人才济济的黄金期。