“石洞，郭氏名山也。”据叶适《石洞书院记》记载，南宋绍兴年间，郭知言之子郭钦止（字德谊）率人来到石洞山脚，凿开崖壁。随着小径贯通，隐藏其间的绝佳景致豁然开朗，惊艳众人。
“盖凿崖百步，梯级而进，土开谷明，俄若异境。稍复深入，臻于旷平，则石之高翔俯踞，而竹坚木瘦，皆衣被于其上；水之飞湍瀑流，而蕉红蒲绿，皆浸灌于其下。潭涧之洼衍，阿岭之嵌突，以亭以宇，可钓可奕。巧智所欲集，皆不谋而先成。”
有趣的是，古往今来许多人都误以为这座山因“洞”得名，其实所谓的“洞”，即是郭钦止发现的这处秘境。南宋王徕的《石洞记》专门解释过这个误会：“问洞安在？众曰：‘浙间方言，谓地之空隙处为衕。此地两山夹涧，故云为洞，实非也。’”
偶得这处胜境，让郭钦止欣喜不已，仿佛找到了武陵桃花源。但他随即感叹：“这块宝地只是恰好在我家范围，并非上天特意赐予，我怎能独自占有它？”于是，他决定让家中子弟与乡里优秀子弟在此治学，自己则“宾接贤士大夫”。
石洞书院由此诞生。郭钦止在山边建造了30余间房舍，拨出数百亩田产，以其收入作为书院的日常给养；又将父亲郭知言所建书屋中的藏书悉数捐出，充实书院办学资源。书院聘叶适主师席，朱熹、吕祖谦、魏了翁、陈亮、陈傅良等相继来开讲。其中，朱熹、吕祖谦、魏了翁等属于“理学”阵营，而陈亮、叶适、陈傅良等属于“事功”学派，彼此的学术思想不同，甚至时有对立，但郭钦止都恭恭敬敬地邀请他们前来讲学论道，足见书院对各类学术思想兼收并蓄的包容态度。
在这种学术氛围浸染下，长衢郭氏的面貌焕然一新。吕祖谦曾言：“族之子弟、乡之秀民，由是响风悌学，皆以敬业乐群为急务。”四方学子纷纷慕名前来求学，朱熹对此也给出了极高的评价：“子弟服师儒之训，乡闾识逊弟之方，霍然其变豪杰之窟，焕乎其辟礼义之场”。
朱熹一生中曾多次造访东阳，在石洞山上留下了“石洞之门”“流觞”等摩崖石刻。据明代郭氏后裔编纂的《石洞贻芳集》记载，南宋淳熙戊申（1188）岁，朱熹因遭“伪学”之谤，曾避居石洞书院，并在此间完成了《大学》《中庸》的集注。
郭钦止的儿子郭津（字希吕）、郭浩（字希孟）皆拜朱熹为师，得理学真传。郭钦止去世后，朱熹为之写墓志铭、吕祖谦为之作行状，陆游为之题碑文。身为一介平民，能获得南宋顶尖学者执笔，是极为罕见的礼遇。之后，郭津、郭浩支撑石洞书院继续运作，父子三人被陈亮誉为“东方学者”。