翻开《东阳长衢郭氏宗谱》，在过往名贤秀士留下的文字中，长衢郭氏被形容为“东浙第一家”“浙右大家”“巨室”“著于东阳”。不过，与许多锦衣华服、玉盘珍馐的名门世家不同，这是一个诗书继世、修身积善的朴实家族。
天台人郭瑫是长衢郭氏的始迁祖。唐朝末年，他在高塘设帐教授子弟，后与东阳三元施氏联姻，定居长衢。郭瑫之后，家族连续多代都寂寂无名，直到宋代郭知常（字彦明）、郭知言（讳颐直）兄弟开始拥有了一定的“钞能力”和声望。
陈亮曾在《郭君德邻哀辞》中表达过自己无缘结识郭知常的遗憾：“往时东阳郭彦明徒手能致家赀巨万，服役至数千人，又能使其姓名闻十数郡，此其智必有过人者，余不及识。”
和其先祖郭瑫一样，郭知常、郭知言都是读书人。兄弟俩都曾打算通过科举博取功名，却赶上盗贼在乡间作乱，家产被扫荡一空。郭知常于是放弃了学业，组织义社保护乡闾，郭知言也选择与兄长一起经营家业致富。
待家底殷实后，兄弟俩开始“投资”孩子的教育。他们建屋藏书供孩子学习，重金聘请名师，同时结交名士，让孩子在浓厚的儒学氛围中“薰沐其习、砥砺其为”。他们的性格也是同样的轻财好施，对需要帮助的乡邻亲友毫不吝啬。南宋乾道元年（1165），两浙地区闹饥荒，米价飞涨，郭知常打开自家粮仓赈济灾民。从杭州、绍兴、湖州、嘉兴、建德、金华等地前来“就食而活者”，数以千计。