嘉靖末年，三十出头的胡懋义在西宅后山头辟地建芳洲园。他亲手筑亭凿池，栽松植竹，又种上满院的桃柳与兰芷。园成之后，他作诗《言志》：“江阁青川雨后出，山城白石镜中收。年来颇得陶然兴，明月疏窗披鹿皮。”
此后数十年间，这座园林一度成为浙中文人的雅集胜地。
最先踏入园中的，是东阳同乡、自号“撄宁生”的吕肇元。他同样厌弃官场浮华，只求寻一方山水安放书卷。两人常在园中临窗对坐，一卷诗书、一盏清茗，倦了便枕着竹席小憩，醒来听松风穿廊、看云影过墙。吕肇元望着满院幽篁滴翠、苔痕上阶，兴起吟哦：“谁笑山居寂？偏宜逸士怀。昼长书一枕，骨倦茗三杯。聒耳催诗鸟，闭身谢客斋。应知五柳树，不与易三槐。”诗句落定，两人相视大笑，尽是知音相逢的畅快。
东阳同乡、古泉居士许应潜循着前山的潺潺泉声、郁郁松涛而来。他本就爱山水成痴，见芳洲园篱边菊黄、池畔荷静，又见胡懋义眉目清朗、谈吐磊落，视为故交。二人寻园内溪边青石坐下，就着秋风里的桂花香剥蟹饮酒，从孔孟的仁义之道聊到庄生的逍遥之境。酒酣耳热之际，许应潜执杯长叹：“我尝游前山，前山幽且僻。古树舞虬龙，流泉着寒石。行行见主人，啸傲俯青碧。久要芳洲盟，百年自栖息。邀我持酒螯，高谈竟夕日。回首沧溟东，去去渺何其。”这一次会面，定下了往后数十年的芳洲盟。
隆庆年间至万历初年，芳洲园的声名已传遍浙中，连朝堂与文坛的大人物也慕名而来。
隆庆元年（1567），致仕归乡的绍兴府余姚县名士吕本，特意驾着扁舟赶至东阳。这位嘉靖年间的进士，曾官至文渊阁大学士，加柱国衔，半生沉浮于庙堂，见惯了官场的倾轧纷争，早已心生倦意。他踏入芳洲园时，恰逢胡懋义斜倚松荫吹箫，箫声荡过一池碧水，惊起白鹭翩跹。吕本径直取过墙角古琴，指尖轻拨，琴音与箫声相融相和，松涛阵阵，成了最天然的伴奏。曲罢，他挥毫泼墨，写下了“东阳有隐君，胸次通文墨。笑傲老芳洲，姓名人不识”，满是对这位山野隐士的推崇。
万历初年，芳洲园里迎来了一位传奇人物：绍兴府山阴县天池山人徐渭。彼时胡懋义年近四十，徐渭亦已鬓染霜华。正是雨后初晴，山色如洗，草木缤纷，二人临池对酌，酒过三巡，徐渭借着几分醉意，展纸挥毫：“谁将幽兴托芳洲，独抱青尊对白鸥？净扫苔矶来好客，平分岛屿是南州。”写罢，他抬眼望见园中白荻苍苍，又挥笔写下“绯桃烂处千崖锦，白荻开时两岸秋。独钓天池吾老矣，可令一放雪中舟”。诗句里的“吾老矣”，暗合两人年华渐老的境遇，更藏着历经沧桑后，对人生迟暮的通透与释然。
时光倏忽，万历中期，芳洲园里的松竹已成参天之势，桃花盛开时，依旧有文人墨客循着旧闻而来。四明名士向宏业便在这时寻到了这座隐于林泉的园子。他扶着斑驳的竹篱，望着一池清波，忍不住朗声赞道：“一水中分白鹭洲，泽兰芳杜挹风柔。丈人别有浮家趣，不是伊人逐水流。”一声“丈人”，满含着对归隐二十余年的胡懋义的由衷敬重。
不久后，向宏业二度来访，见园中风物依旧、主人意气未减，感慨之余续作一诗：“薜馆枕山苍，芳洲影透凉。雨收慈竹冷，风定小荷香。”而胡懋义亦以“醉里忘机同水鸟，闲中得趣似烟霞”回应，道尽抛开俗世机心、纯然以文会友的酣畅。
东阳同乡、东溪散人李嘉珍则爱坐在园中的石凳上，望着远山云雾缭绕、飞鸟归林，写下“非独渭车终应召，还看玉树拂高秋”，既赞胡懋义经天纬地的才学，又叹他超然隐逸之风骨。
岁月流转，胡懋义已是鬓发皆白，却依旧每日拄着竹杖在园中吟诗散步。东阳后辈文人陈仲成特意携着新作前来拜会，写下“却恨登堂身较晚，无缘唱和托交游”之句。
清嘉庆十二年（1807）二月，胡懋义作古近200年之际，其家族编著《芳洲逸兴集》，特邀文林郎、在籍候选知县何豫作后记。何豫翻看书稿时，发现乡先哲王震在卷首记录了一段佳话：“禹会四明诸巨公，相率赠诗数十百篇，倩绘事者裒集成图。其后人什袭珍之，知所宝哉！”这也说明，《芳洲逸兴集》中的诗稿是由绍兴、宁波一带的名士所赠，胡懋义收到诗稿后又请人绘图，其后人一直奉为至宝，妥善收藏。一部诗集，真实记录了浙中名士与一位东阳隐士及园林的风雅往事。