千佛塔所处的郭宅二村，是十里长衢的村落之一，其历史可追溯至唐代。谱载，唐代名将汾阳王郭子仪的十世孙郭瑫从天台来到东阳，被高塘村民聘为塾师，后与东阳三元施氏联姻，定居长衢，自此郭氏一族繁衍生息。到宋代时，这一带形成了“十里长衢郭”。根据康熙《新修东阳县志》的记载，东阳古时有五府、四名家、三大宅，长衢郭与路西陈、横城贾并称三大宅。
随着长衢郭氏家族日渐兴旺，族人开始热衷于兴办教育，相继建起至少7座书院，堪称古代教育基建界的“狂魔”。其中，最为人熟知的石洞书院，创办者是郭钦止。
市政协文史资料《宋韵东阳》记载，郭钦止（1128-1184），字德谊，少年时跟随“横浦学派”创始人张九成游学，但屡试不第。他的伯父郭知常（字彦明）白手起家，“家赀巨万”，带动整个家族发迹，名闻十数郡。和许多现代父母一样，郭知常希望通过“卷”教育让子孙拥有光明的未来。于是，他将自己的居所辟为“学庐”，重金延请四方名士教授子孙。郭知常的弟弟，即郭钦止的父亲郭知言，晚年建造了3间书屋，也请来名师教诲家中子弟。
南宋绍兴十八年（1148），刚满20周岁的郭钦止在香山以北的石洞山脚凿山潴水，建造了30余楹房子，创办了石洞书院。他拨出数百亩田地作为书院给养，还将父亲的藏书悉数捐献。石洞山在他的规划下被辟为园林，山中建造了9座亭台。书院的物质基础打好后，他请来永嘉学派的集大成者叶适主师席，吕祖谦、薛象先、陈亮、陈傅良、陆游等名流大家往来其间。叶适之后，理学家魏了翁也曾掌教石洞书院。绍兴末年（1162），朱熹前来探望吕祖谦，也恋上此地山水，多次到访，讲学著述。一时间，书院“泰斗云集、巨星璀璨”，吸引了山东、江西、安徽、江苏、湖南等省及省内宁波、天台、金华、衢州等地的学子前来求学，声誉与白鹿、岳麓等书院比肩。
南湖的开凿者郭良臣、郭溥叔侄，也是教育基建“狂魔”之一。郭良臣是郭钦止的堂兄，约于绍兴末年（1162）在父亲所办学庐的基础上创办西园书院，仪规一如石洞书院，邀请吕祖谦、薛象先、汤致等主师席。因为从小在家中接受了良好的教育，郭良臣的儿子郭澄考中进士，曾任黄岩县主簿。
同样的，郭溥也受益于家族办学，谱载他后来“魁南宫，登翰苑”，官至员外郎。他于南宋乾道年间（1165-1173）创办南湖书院，位置可能就在南湖附近。郭钦止的侄子郭湜（1156-1204）则于南宋绍熙元年（1190）创办高塘书院（又称高塘义塾），礼聘诸暨诸葛千能、乐清钱文子执教。郭湜去世后，其妻吴崇福续办书院，为所有学子免费供给米盐，承担教师束脩和书院一应开支，学子纷至沓来，年注册者达500人。
郭溥的堂弟郭伯中（1167-1240）于南宋嘉定年间（1208-1224）创办青溪书院。此外，郭氏家族还创办了籝金书院、洛阳书院。至此，长衢郭氏有据可查的书院达7座。这些书院引来了一大批理学名家，造就了东阳历史上第一个理学传播高峰，郭氏也迎来了“轩冕冠盖大兴”的时代。清代东阳籍学人王崇炳称：“一时大江以南鸿才卓行之士，罔有不至，至则盛其飨，去则厚其赆，留则丰其膳，一时藉藉相传，以长衢郭氏为东浙第一家。”
南宋咸淳、德祐年间，长衢一带遭兵燹，大量民舍被毁，书院群体逐渐衰落。到元至正年间台州杨镇龙起义，郭氏族人四散。但战乱初定，郭氏就重建书院，延续书香。至今，石洞书院仍是东阳为数不多有建筑实体留存的书院之一，与香山上的石塔一南一北遥相对望，守护着这片文化底蕴深厚的土地。