北宋元祐二年（1087），大约在夏秋之交，驸马王诜宅邸的西园有过一次名人集会，被称作“西园雅集”，与东晋王羲之的“兰亭雅集”并美与世。
关于这次雅集，有图有文，图为画家李公麟所绘，文为书法家米芾据图而作《西园雅集图记》，两人皆是雅集的参与者。雅集共有16人，除这两人外，还有苏轼、苏辙兄弟，苏门四学士：黄庭坚、秦观、晁补之、张耒，余者还有道士、和尚等，皆为当时名流雅士。李公麟的原画已散佚，现在看到的都是后世摹本，但米芾的文章却是原汤原汁。由此可以一窥西园之美：孤松盘郁，芭蕉盛开，锦石桥竹，溪水潺湲，翠阴茂密，炉烟袅袅，泉石云物草木花竹皆妙绝动人，一派林下风味，无一点尘埃。而这些名士，或捉笔，或执卷，或抚琴，或旁观，或谛听，或打坐，卓然高致，形神怡然，安享人间清旷之乐。
雅集的核心人物是苏轼，米芾文中说“自东坡而下，凡十有六人”，描述的第一个人就是苏轼：“其乌帽黄道服，捉笔而书者为东坡先生。”东坡的名号，是苏轼被贬黄州时所起，随着一批名作问世而声震天下。之后苏轼被朝廷重召还京，已然确立了当之无愧的文坛领袖地位。有意思的是，苏轼和苏辙此次集会皆身穿道服，一黄一紫，相映成趣。何以如此着装？显然，这种私人相聚，穿道服更能透溢出仙风道骨、优游林下的隐逸之气。而且道家思想已深入苏轼骨髓，才能写出“飘飘乎如遗世独立，羽化而登仙”这样的句子。
16人中，地位最富贵的当为驸马、西园主人王诜。王诜，字晋卿，是宋神宗胞妹蜀国公主的夫婿。此人行为放浪，不拘小节，却能诗善文，画品更是超凡脱俗。作为皇亲国戚，他结交了众多名士，与苏轼尤为密切。他大约和苏轼年纪相当，却对苏轼推崇备至。王诜经常送苏轼酒食、茶果等日常生活用品，对于苏轼的请托之事，一律照办不误。二人赋诗唱和、谈画论艺甚多。苏轼将“诗赋及诸般文字寄送王诜等，致有镂刻印行”，这是乌台诗案作为王诜的罪状之一被提出来的，从中可知，王诜曾帮助苏轼印行了诗文集。乌台诗案事出时，王诜最先得知消息，赶紧通过苏辙密报苏轼，他也因“泄露密命”受到牵连被贬，也因此两人不通音问达七年之久。
元祐年初始，二人皆被召回朝，在殿门外相见，不胜感叹。苏轼为王诜《烟江叠嶂图》赋诗，不光记其诗画之美，更是不忘契阔故交的“朋友忠爱之义”。在苏轼应请为王诜画室写的《宝绘堂记》一文中，他对驸马爷极力褒奖了一番，说他重诗书礼仪，去美食，远声色，一心一意专事书画。把这个风流男人夸成了“楷模”，令人莞尔。老朋友嘛，又是受人之请，自然要说些好话，也在情理之中。
李公麟，字伯时，宋代大画家。他与苏轼的交往当始于苏轼自黄州还京之后，一度十分频密。苏轼对他的画评价甚高，如李公麟作《孝经图》，苏轼跋曰：“观此图者，易直子谅之心，油然生矣。笔迹之妙，不减顾、陆。至第十八章，人之所不忍者，独寄其仿佛。非有道君子不能为，殆非顾、陆所及。”顾、陆，指的是顾恺之和陆探微，分别是东晋和南朝时期的大画家。苏轼为李公麟不少画作赋诗，李公麟也不止一次为苏轼画像。苏轼有首名诗《自题金山画像》：“心似已灰之木，身如不系之舟。问汝平生功业，黄州惠州儋州。”这“画像”即为李公麟为苏轼所画。苏轼自海南岛北归途中，在镇江金山寺看到，不由感慨万端。
据《邵氏闻见后录》载，苏轼被贬南迁后，李公麟在京城街上遇见苏轼的弟子，以扇遮面，不打招呼，装作看不见，以免受到牵连。苏轼为他的“洗玉池”所作的铭文，也被其子磨去了。但此事确否存有争议。
米芾，字元章，书法“宋四家（苏黄米蔡）”之一，与苏轼齐名，为大家所熟知。他比苏轼小14岁，当是晚辈了。苏轼在黄州时，米芾路过拜访，初次见面受到苏轼指点，风格由唐入晋，从而书艺大进。西园雅集是在5年后，米芾虽未拜入苏门，但以师事之。他那篇《西园雅集图记》凸显了对苏轼的尊崇。米芾相貌奇异，乖张癫狂，传其拜石为兄，人谑称“米癫”。苏轼任扬州知州期间，一次设宴待客，皆一干名士，米芾也在场。酒半酣，米芾忽然站起身，问苏轼：“世人都称我为米癫，先生怎么说？”苏轼说：“我跟大家一样。”满座都笑翻了。
苏轼对米芾评价极高，称赞他有“迈往凌云之气，清雄绝俗之文，超妙入神之字”。苏轼北归游金山寺那次，米芾即陪侍在侧。有客人请苏轼题字，苏轼谦让道：“有元章在。”米芾说：“某奉端明如师长，某不敢。”苏轼曾为端明殿学士，故以端明称之。苏轼拍拍他的背说：“如今你是青出于蓝了。”米芾顺势收下了这个赞语：“端明真知我者也！”自负神态溢于言表。苏轼去世后，米芾闻知噩耗，痛极，一口气写挽诗五首，将苏轼比作韩愈和欧阳修。
东晋画家顾恺之有名画《清夜游西园图》，画名源自曹植诗句“清夜游西园，飞盖相追随”。此“西园”是指邺城铜雀园，建安才子雅集之地。王诜的西园及李公麟的画，根大抵在这里。这是一种文化相传与精神承袭，千年雅韵，弦歌不绝，西园成为文人士子一处心灵的桃花源。然而令人不解的是，苏轼为李公麟不少画作或赋诗或作跋，却对《西园雅集图》付之阙如，未着一字。