作为东阳最早一批望族，冯氏并非东阳土著。但若追溯其根源，会发现其郡望地位之显赫，在东阳各望族中首屈一指。
《冯宿碑》记载，冯宿为冀州长乐人（今河北衡水冀州区），是西汉左将军、光禄勋冯奉世的第二十五代孙。冯奉世第十世孙冯宏为北燕昭成帝，冯宏七世孙冯早慧，于隋末任婺州司户，李渊建唐后任婺州长山（今金华）令，由此定居婺州。冯早慧生子冯文俭，任婺州乣曹掾。冯文俭之子冯茂才，中举后放任括州。冯茂才之子冯道仪任松阳令；冯道仪生子冯嗣，任文林郎、宋王府记室参军，赠礼部员外郎；冯嗣之子冯子华为南昌令、新安郡长史，赠尚书左仆射。冯子华即冯宿、冯定的父亲。
长乐冯氏自公元409年冯跋建北燕始，世代簪缨，系中国古代著名的门阀世族。北燕灭亡后，冯氏分为两支，一支于隋末移居江南形成南唐冯氏世家，系江南望族；另一支于南北朝时定居岭南，为岭南冯氏。作为江南冯氏一员，冯子华成为东阳冯氏始迁祖。冯楼此前称“冯子华故里”，冯宿、冯定兄弟出仕成为显宦后，村落方称为冯家楼。
冯子华以孝闻名，是东阳历史上“六孝子”之一。道光《东阳县志》载：冯嗣去世后，冯子华在墓左结庐守孝，整日伏拜哀号，年幼的冯宿也陪同守墓。数日后墓侧生灵芝，有白兔嬉戏其松柏间。冯子华不以异象自炫，隐而不宣，时人皆谓祥端，乃纯孝感天所致。明代开国文臣宋濂作诗称赞，冯子华后来被奉祀于乡贤祠，其家族也被称为“孝冯家”。
冯宿、冯定的儿子们也非等闲之辈。冯宿的儿子冯陶、冯图、冯韬、冯藻，冯定的儿子冯衮、冯颛、冯轩、冯岩，均先后中进士；冯宿的孙子冯涓也是进士。因此，冯子华一支“兄弟两尚书，祖孙九进士”，东邑其他家族无以比肩。
史载冯衮抱逸才，性豪纵。他在西安亲仁坊的宅第南边有山林池亭，养殖鹅鸭杂禽，常遣家人掌管，人称“冯衮鸟省”。《雅言杂载》记载，冯衮任苏州刺史时为政清明，多有闲暇，时常宴请朋友和同事，纵情饮酒博彩，一次赢得大胜，将所得均赠与宾客，并作诗《掷卢作》：“八尺台盘照面新，千金一掷斗精神。合是赌时须赌取，不妨回首乞闲人。”
“孝冯氏”第三代后裔中，以雄才奥学的冯涓为著，他完美继承了祖父冯宿的才学与智慧，于大中十一年（857）登进士第后又登宏词科，文誉甚高。中和元年（881），冯涓任眉山刺史，赴任途中被蜀主王建强留于幕府。冯涓坚决不屈从，著《怀秦赋》《蜀驮引》以明志，将王建所赠绢帛锁于柜中，题字“贼物”。后梁篡唐，王建建前蜀，先后授冯涓为翰林学士、御史大夫，但冯涓始终不肯辅政。前蜀永平初年（911），王建屡次出兵，冯涓屡次劝阻，上《谏用兵疏》劝王氏：“古之用兵，非以逞威暴而肆杀戮，盖以安民为先，丰财为本。”他还借王建生日之机建议减轻赋税。难怪何光远在《鉴诫录》中盛赞冯涓：“清苦直谏，比喻规箴。章奏悉于教化。所著文章，迥超群品。诸儒称为大手笔。”