唐末黄巢起义，中原再无宁日，越来越多的中原人南渡长江寻求庇护，进入东阳的士族增多。北宋末年“靖康之乱”，宋室南渡，“中原士民，扶携南渡，不知几千万人。”（《建炎以来系年要录》）这一时期，东阳外来人口剧增。随着南宋建都临安，浙江成了王朝统治中心，东阳类似于临安的“后花园”，社会安定，经济繁荣，文化发达，大型氏族聚落在城乡星罗棋布。道光《东阳县志》记载：“三大宅，路世陈，长衢郭，横城贾。”可见南宋时期，路世陈宅、长衢郭宅、横城贾宅已成为乡村声名显赫的巨族。
“东阳三大宅，开口路西陈”。流传于东阳民间的此俗语，足见路西陈氏的“领先”地位。
路世陈即路西陈氏，路西在今横店镇路西村。南朝刘宋时期，陈元宝自颖川携家人迁居吴宁仁寿乡仁义里（今横店镇五官塘村南宫湾）。南齐中兴二年（502）其子孙迁居路西。南宋开禧年间，陈德高效仿范仲淹之举，割良田千亩设立义庄以赡宗族，创设义学教育族中子弟，陆游为之作《陈氏义庄记》。南宋嘉定十六年（1223），陈德高次子陈宣子荣登文进士，幼子陈炎同年及第武榜眼。元至元二十六年（1289），因杨镇龙起义，陈氏迁出路西。次年，陈传道衍迁毗邻路西的官桥。直至第三十五世陈子灿从仁棠迁回路西，但此时路西已有其他姓氏居住。明代路西陈氏修谱由官桥主事，始称官桥陈氏。
长衢郭即今湖溪镇郭宅。唐乾符三年（876），郭瑫从天台来东阳孝顺乡高塘设帐授徒，后落籍此地，子孙繁盛，衍为巨族。子姓以郭宅为中心绵延十数里分散居住，各居住点之间以大路相连，故有“十里长衢”之称。南宋绍兴时期（约1149），郭钦止捐田数百亩创办石洞书院，宋孝宗时期邀永嘉学派集大成者叶适主师席，开东阳民间兴学之风。朱熹、吕祖谦、陈傅良、魏了翁、陈亮、陆游等顶级学者，相继来此讲学或访友。在其影响下，长衢郭氏争相兴办书院，史料留名者有7座。
北宋末年，工部侍郎贾炎率族南渡，择居东阳怀德乡桐川里横城。其孙子贾廷佐（1099-1166）博学多识，南渡前即入读太学，南宋绍兴二年（1132）进士及第。其为人刚毅有大节，与张浚、韩世忠等抗金主战派交好。绍兴八年（1138），秦桧力主和议，宋高宗也欲请和，贾廷佐不顾位卑官微，两次上疏阻止和议。贾廷佐居南溪，俗称上贾宅；其长子贾祺迁居西溪，俗称下贾宅。但民间因其始迁地为横城，故称“横城贾”。
“路西陈以义庄闻名，长衢郭以教育著称，横城贾以直臣扬名。”吴立梅说，东阳民间认为，以“宅”命名的村落，必须具备至少三个条件，一是出过名人，二是户口众多，三是有标志性建筑。就此而言，东阳“三大宅”无愧此称。“经研究发现，三大宅的排序可能主要以进士及第数量为主要依据，路西陈11人，长衢郭5人，横城贾2人。这也直接反映了东阳民间崇文重教风气之盛，将人才视为兴旺家族的第一资源。”