冯楼历史上的核心人物是冯宿（767-836），字拱之。
西安碑林博物馆所藏《冯宿碑》，碑文由曾任兵部尚书、太子侍读的王起撰写，著名书法家柳公权题写，称其“奇伟倜傥，与人诚直，言无诡随，行不苟合”。这位相貌堂堂、风度翩翩、为人正直的官员，20岁时就以学识渊博、文采斐然而著称。唐贞元八年（792）春天，26岁的冯宿与韩愈同登“龙虎榜”，两人因此结下了长达数十年的深厚情谊，曾一起登华山并题名其上。冯宿还曾当面指出韩愈的过错，韩愈为此而著《答冯宿文》，称其“告我以吾过者，吾之师也”。
冯宿的才华，深受时任中书侍郎、同平章事的主考官陆贽赏识。冯宿也将这位大唐政坛“全能型选手”视为楷模，“有志于四方”，获得徐州节度使张建封赏识，聘其为掌书记，负责撰写重要表奏檄文。张建封极信任冯宿，重病期间还允其出入卧室共商军事机密。在他去世后，部下胁迫其子张愔接管军中事务，但李师古趁机叛乱。冯宿致信武将王武俊请求支持平定内乱，张愔也被朝廷封为留后。冯宿的政治斡旋能力由此可见一斑。
冯宿后来不愿再辅佐张愔，转而成为浙东观察使贾全的幕宾，张愔于是怀恨在心，上奏朝廷将其贬为泉州司户参军，但不久后冯宿就被召回任太常博士。之后，冯宿转升虞部、都官二员外郎。元和十二年（817）淮西叛乱，宰相裴度亲自出镇督统诸将平乱。临行前，裴度挑选廷臣作为幕宾，冯宿被选中任彰义军节度判官，平定淮西叛乱后又升为比部郎中。
这颗冉冉升起的政坛新星，不可免俗地受到朝中当权者忌惮。
唐元和十四年（819），韩愈因力谏唐宪宗迎佛骨而上《谏迎佛骨表》，被贬为潮州刺史，冯宿也被怀疑参与起草谏表而被贬为歙州刺史。闻悉此事，臣僚“群情大骇”，冯宿却“神怡气畅，视亏若成”，宠辱不惊。在歙州一年，他抑制豪强兼并土地，扶助弱势群体，百姓安居乐业。朝廷察其德政后，将他升任为知制诰、中书舍人，后又任左散骑常侍兼集贤殿学士。
大和二年（828），冯宿转任河南尹。这年春天，被贬谪的白居易、刘禹锡先后从洛阳回到长安，相聚在曲江边的杏园为冯宿送别。冯宿到任后寄诗《酬白乐天刘梦得》：“共称洛邑难其选，何幸天书用不才。遥约和风新草木，且令新雪静尘埃。临岐有愧倾三省，别酌无辞醉百杯。明岁杏园花下集，须知春色自东来。”在洛阳期间，洛苑使姚文寿纵容家仆强夺民田，当地官吏不敢拘捕。冯宿乘集会之机捕杀恶仆并张榜公布罪状，大快人心。
因政声卓著，大和四年（830），冯宿升任工部侍郎，继调刑部侍郎，修《格后敕》30篇。之后调任兵部侍郎，封赠为长乐县公。大和九年（835）冯宿升任东川节度使，检校礼部尚书。在川期间，他修建城郭，增兵甲械，兴修水利，颇多建树。
开成元年（836）冯宿积劳成疾，病重之际，有囚犯将处重刑，其家人请冯宿从宽处理以积德延寿，冯宿却说：“性命长短天注定，枉法以求长命，我不敢为。”他去世后，朝廷追赠其为吏部尚书，谥号“懿”。家人遵遗嘱薄葬，仅以平生书籍陪葬，有《冯宿集》40卷留于世。
冯宿去世时，小其18岁的弟弟冯定（785-846）正担任太常少卿。身躯伟岸、仪表堂堂的他满腹经纶，文才更胜其兄，时人将他们与汉朝二冯（冯野王、冯立）比肩。
较之冯宿，冯定是典型的“文青”。未中举前，他与于頔交好。贞元十四年（798）于頔任襄州刺史、山南东道节度使时，冯定骑驴（一说徒步）前去拜访，守门军吏不愿通报，冯定二话不说即离去。于頔知后怒斥军吏，并着人送五十万钱给冯定。正在旅店吃饭的冯店拒收此钱并致信于頔，让他不必再礼贤下士，于頔阅信后惭愧不已。不久后冯定考中进士，被浙江西道观察使薛苹聘为校书郎，后授职鄠县尉，任集贤校理。因为父亲去世，冯定悲伤痛哭导致肺疾，赴任不及时，上司认为其态度傲慢，奏请将其迁职祠部员外郎，出授郢州刺史。在郢州期间却又被诬告强夺人妻、公款私用。朝廷查明真相后，改任冯定为国子司业、河南少尹，太和九年（835）八月又授其太常少卿。
太常少卿负责礼乐祭祀，多才多艺的冯定如鱼得水。开成三年（838），唐文宗令太常寺编创宫廷雅乐。冯定就将开元时期流行乐曲《云韶法曲》《霓裳羽衣曲》改编成雅乐《仙韶曲》。作为一大创举，他在这部雅乐里加入和声部，成为中国古代编排交响乐的第一人。据《新唐书·礼乐志》载，演奏此乐时，“登歌四人，分立堂之上下；童子五人，绣衣，执金莲花，以导舞者三百人”，堪称大型乐舞。
舞曲制成后，冯定指挥乐工演奏，文宗见他立于乐工间，“端凝若植”，就问翰林学士李珏：“这位就是能写古章句的冯定吗？”在得到肯定回答后下诏让冯定上殿，亲诵冯定《送客西江》诗，吟罢赐冯定宫中专用锦缎，又令他将所著古体诗献上。不久后，冯定升任谏议大夫。
作为谏官，冯定直言不讳：甘露事变后，仇士良请求用神策军护卫殿门，冯定上疏抗议，此事作罢；为监督宰臣，冯定请求让左右史随宰臣入廷记事，招致宰臣不满。会昌二年（842），冯定改任太子詹事。第二年宰相郑覃担任太子太师，想要在尚书省处理公务。冯定又援引《六典》称太师只能于詹事府办公，朝廷于是下诏让郑覃在詹事府就职。
会昌四年（844），冯定迁职为卫尉卿，同年他上书告老还乡，以左散骑常侍之职退休。两年后冯定去世，朝廷赠职工部尚书。
无从知晓那座令人惊艳的“冯高楼”具体建于何时，但可以肯定的是，它存在的一大意义就是彰显冯氏兄弟的宦绩。这座美轮美奂的建筑，至今仍被史家视为东阳木雕在建筑装饰中应用的滥觞。民间传说这座高楼接楹上梁时，180根楠木大梁全部短了一尺二寸，危急关头鲁班化身为老翁上门要鱼要肉，饭毕将鱼头鱼尾分开套在横放的筷子两端，把作匠师猛然大悟，命人雕刻了360个鱼头安装在柱头上，刚好接住大梁，完美解决了难题。因此，冯楼被后人视为东阳木雕的“祖庭”。