石洞书院开办之后，兴办书院在郭氏家族中蔚然成风。
绍兴末年，郭知常的儿子郭良臣（字德邻）将父亲所创办的学庐扩建为西园书院，藏书千卷，办学仪规一如石洞书院，不仅接纳四方求学者，还提供学习和生活物资，并先后聘请吕祖谦、薛象先、汤致等名家主讲。郭良臣日夜辛苦经营家业，把盈余都交给儿子郭澄，让他四方结交师友。
“永嘉学派”精英钱文子，名臣吴芾之子、“南岑吴氏”始祖吴洪都曾在西园书院求学。他们极为欣赏郭良臣父子对待学问的态度——不汲汲于世俗的功名，而是探求学问的本源。叶适更是评价长衢郭氏的名望由郭良臣开始兴盛。
郭澄后举进士第，授迪功郎，调隆兴府南昌县主簿，又调台州黄岩县主簿，皆未赴任。其才德人品深得吕祖谦赏识。令人扼腕的是，郭澄年仅30岁便英年早逝。吕祖谦在为其撰写的墓志铭中记载了这样一件事：某年遭遇饥荒，乡人却未曾趁机抬高物价牟利。旁人问及缘由，乡人答道：“这是我在西园书院学到的道理。”
在村庄的南湖边，郭良臣的侄子郭溥于乾道年间（1167-1173）创办了南湖书院。除了办书院，他还坚持做公益，在村里设置平兴仓，将几千石粮食存放其中，春天发放给乡亲，让他们不至于青黄不接，秋天再回收，不收取利息，持续了30多年。
从很早开始，郭氏家族为子女议婚时，便着重物色书香名门。一旦家族出现变故，这样的对象及姻亲往往能提供庇护和支持。如郭良臣的妻子杨氏出自义乌的书香门第，父亲是进士。据永嘉学派学者之一徐元德记载，郭良臣办书院时，杨氏是幕后支持者。丈夫去世后的20年里，她继续维持着书院的运转。临终前还不忘叮嘱孩子：“要先拨出田产，作为维持西园书院的资费。这是你们父亲的遗志。”
郭钦止的从侄郭湜，未及五旬而逝，家中创办的高塘书院便由他的妻子吴崇福接手。吴崇福是朝奉郎、江南东路转运司主管文字吴良骧之女。她持家有道，见识不凡，不吝拿出自己的陪嫁来维持书院的运转，每年至少为500名学子免费供给米盐。教师束脩及书院其他，一应开支同样由她提供。她曾辟一高楼，藏书万卷。同为藏书家的楼钥知婺州时，曾慕名而至，为该楼题匾“东阁”。
郭知常的第四子郭良佐，其儿子郭溪娶新昌石氏。石氏娘家有藏书楼“博古堂”，因此自幼受诗书熏染。郭溪不幸早逝，儿子尚幼，石氏办起私塾，聘名人秀士为塾师，让儿子接受良好的教育。
郭钦止幼弟郭钦叙的儿子郭伯中，于嘉定年间创办青溪书院。据家谱记载，郭氏家族还创办了籯经书院、洛阳书院。
七八十年间，长衢郭氏前后创办7座书院，创下南宋时期家族创办书院数量之最。《东阳进士》（东阳市志二轮编修委员会成员吴立梅撰）记载，南宋时期郭氏家族至少出过5位进士，分别是：青溪书院创办者郭伯中；南湖书院创办者郭溥的孙子郭必大、侄子郭始中；高塘书院创办者郭湜的次子郭栐（康熙《新修东阳县志》作“郭捄”）、族侄郭宗仪。
据家谱记载，元至元年间，台州杨镇龙聚众起义，战火蔓延至长衢，台阁书院不幸付之一炬。然文脉未绝，薪火相传。明代郭文达重建讲堂庑阁，东阳知县贡修龄为之撰《重建书院记》。到了清代，族人两次捐资重修书院。抗战期间，上海大夏大学（华东师范大学前身）教授郭莽西与妻子叶迦予修缮石洞书院紫阳讲堂。20世纪90年代与2018年，书院又历经两次重建，是东阳目前尚存建筑实体的7座书院之一。
回到开头的问题，郭氏家族为什么能成为望族？叶适其实自己给出了答案：“尔郭氏美其家用儒学，又知世所尊，贵学之上者，其有原本善士，千里外礼致，托以子弟，不专请乡州先生也……及急难求假，必随其力应之，未尝拒避。士过其家，意无不自满去。而得路绝不复通，虽其婿与客多贵，亦弗轻以事委也。其敬贤知义，有耻拔为高明，不见卑陋……宜其虽不富未仕，而望最著。”
叶适说，旧时东阳崇尚武力，人们带刀束棍，在路上一言不合就拔刀相向。但郭氏不同，他们用儒学治家，对于有真才实学的读书人，哪怕远在千里之外，也会备上厚礼将他们请来，把子弟托付给他们教导，绝不限于请本乡教书先生。有人遇到困难求助，郭家人必尽力帮忙，从不推辞。读书人经过他们家，离开时没有不感到心满意足的。他们敬重贤才、深明大义，以攀附权贵为耻，绝不表现出卑躬屈膝的丑态。因此，即便不算最富有的人家，也没人做过显赫的大官，郭氏依然在浙东享有显赫的声望。
可见，从古至今，人们对崇文重教的积善之家一直充满敬意。把最好的资源留给教育，把最深的善意留给乡邻，长衢郭氏用一座座书院，立起了族人心中不朽的丰碑。