唐代，东阳出现了“四大族”，分别是厉氏、滕氏、冯氏、舒氏，均因族中有子弟居官显贵而长发其祥。
其中，厉氏厉文才为金华首位进士，官至容州都督兼刺史，其主持修建的都督堰入欧阳修编纂的《集古录》，至今八面山脚下石狮桥南堍还留有过水涵洞。唐天宝年间，南阳滕氏从金华迁居东阳东门外，聚居于滕宅街（今为陈宅街），滕珦、滕迈、滕盖、滕令琮、滕翼皆中进士，白居易作诗称“身着锦衣儿戏绣，东阳门外数滕家”。冯氏有冯宿、冯定诸兄弟，于唐贞元中并登进士第，“高楼画廊照耀人目，其下步廊几半里”说的就是冯府建筑画栋飞甍，美轮美奂。舒氏则走出了宰相舒元舆，一篇《牡丹赋》风行天下，“宝剑锋从磨砺出”更成为千古名言。
“唐代时东阳进士数量居浙江之冠。”东阳二中退休教师、市政协文史研究员吴立梅援引雍正《浙江通志》卷123《选举一》记载，唐代东阳有14人登进士第，占全浙进士72人的19.44%，占比之高在省内遥遥领先，排在东阳之后的是嘉兴8人，婺州属县兰溪4人、金华2人、义乌1人。“但这些年我们通过查阅各类资料，发现唐代东阳有22名进士，都出自厉、滕、冯、舒四大家族，其中厉氏4人，滕氏5人，冯氏9人，舒氏4人，这也是‘四大族’得名由来。”吴立梅还指出，对于四大族，东阳人多称厉、冯、滕、舒，这是因为厉氏出了浙江首位进士，冯氏进士数量最多。如果按考取进士的顺序排列，则宜称厉、滕、冯、舒。
通过资料可知，唐代最著名的士族为“五姓七望”，分别是陇西李氏、赵郡李氏、博陵崔氏、清河崔氏、范阳卢氏、荥阳郑氏、太原王氏，其他重要家族则有“七姓十家”或“关中四姓”。东阳“四大族”均不在其列。唐代科举制度打破了门阀士族垄断，才使得寒门子弟有了向上流动的机会，东阳“四大族”的形成很大程度上即有赖于此种制度。