真假
吴其贞最后一次来丰南时，程季白已不在人间，因“黄山大狱”跟吴养春一道死于京城狱中。接待吴其贞的，是程季白的儿子程明诏。程家此时收藏虽不如前，但依旧十分富足，家藏有“汉白玉器、项氏所集图章百方，皆各值千金者”，字画还有黄公望的《同天春晓》、吴镇的《水竹山居图》、郭熙的《乔松山水图》、荆浩的《山水图》等。
吴其贞对元代绘画情有独钟，据他统计，在这二十多年中,流传于徽州的元画多达229件,居各朝书画之冠。其中赵孟頫的作品有26件，占元画部分的十分之一，多为《修竹蕙兰图》《兰竹图》《竹石图》之类的花鸟题材和《老君图》《公子游春图》《桐阴高士图》等人物画，山水题材要少得多。“元四家”黄公望、吴镇、倪瓒、王蒙中，徽州藏家似乎更喜欢黄公望。吴氏家族常以藏有黄公望《剩山图》一画激动不已,并认为元人山水当首推黄公望,《富春山居图》为亘古第一画。
在丰南，吴其贞还与传奇人物王越石有过交往，曾多次从王越石处看得一些书画传世之作，比如王羲之的《雨后帖》、智永的《真草千字文》、赵孟頫的《临兰亭序》、黄山谷的《诗翰卷》、陆放翁的《梅花诗卷》等。吴其贞还从王越石处购得苏轼的《批示帖》、赵佶的《桃莺图》等。王越石在江湖上非常有名，曾在江南做了二十年的书画古董生意，卖真货也卖假货，此时应处于半隐状态。吴其贞以为“越石，居安人，与黄黄石为姑表兄弟，系若亲叔也。一门数代皆货骨董，目力过人，惟越石名著天下，士庶莫不服膺”。这里提及的黄黄石，也是一个古董商，以卖假古董为主，很少有真货，江湖上名声不好。也有说法，说王越石其实叫黄越石，因为徽州话和浙江话“黄”“王”发音不分，所以将之搞错了，此事最终不可考证。王越石在明朝中后期的江南收藏界非常有名，此人名士味极重，经常乘一艘富丽堂皇的大船沿新安江上上下下，船舱挂有字画摆着古董，鸭形香笼里点着沉香。船行静水区域，王越石会吩咐佣人上一份炭火臭鳜鱼，再端上一罐火腿煨冬笋，一边呷着黄酒，一边令随船的小妾唱响婉转如莺的昆曲。王越石是美食家，对于菜肴的材质特别讲究：鳜鱼必须用一斤大小的斑鳜而不是花鳜，须一公一母搭配在一起，因为斑鳜的肉质更香更嫩也更甜；至于用来作配料的笋，须采撷于徽州府城郊问政山的。此笋颜如美玉，一不小心跌在地上，会散成一片片，状如白玉。这也难怪，王越石在当时的名气，直逼嘉兴籍的大收藏家项元汴。两人在收藏江湖的名气，一时伯仲难分高下。
王越石名声很大，可口碑一直有争议。盖因其常跟江湖做假人士联手，制作和出售假画假古董渔利无数，就连鼎鼎大名的收藏世家王世贞、王世懋的后人也曾上过他的当。有说法是王越石曾经跟黄黄石因为文物买卖撕破面大打出手，这一个说法来自清初著名鉴赏家姜绍书曾在《韵石斋笔谈》卷上《定窑鼎记》一文。此文还对王越石的劣行有过好几处揭露。又说王越石的姑表兄弟黄黄石，有一次将一幅倪瓒山水画托王越石转售，估价一百二十金，出于防范，在画上的隐秘处加了暗记。不料王越石得画之后，请高手临摹一幅，随后以摹本还给黄黄石。黄黄石发觉后，请官府中人出面想取回原作。王越石“抟颡发誓”，拒不承认，双方发生扭打。黄黄石被打成重伤，加上不久之前官场被逐，郁郁寡欢，竞“越夕奄逝”。王越石知晓后，连夜乘船逃跑，先逃到杭州，最后回归徽州老家丰南，躲在了幕后，让一个侄子在扬州开店，另一个族侄在杭州帮助他收购书画。
传奇
吴其贞对王越石是有提防的。有一次，他在王越石处看到了一幅署名王羲之的《雨后帖》，只是拿不准是真是假。吴其贞一边不动声色地端详，一边用余光观察王越石的表情，最后判断此件为伪物，系唐宋人所仿。吴其贞还得意地记载了自己购藏陆机名迹《平复帖》的情况，此帖众人都以为是伪物，可吴其贞独具慧眼，坚持定为真迹：“此帖人皆为弃物，予独爱赏，闻者莫不晒焉。后归王际之，售于冯涿州，得值三百缗，方为余吐气也。”古制一千文钱为一缗。由这一段话中，明显可以看出吴其贞的自得。
还有一次，吴其贞看到了一幅署名郭熙的《溪山霁色图》，画面非常好，可是看着看着，还是觉得这画笔力不足，以为“画法工细，笔力软弱，是元人之画，非郭画也”。还有一次，吴其贞看到一幅署名王摩诘《雪山楼阁图》的画，觉得“气色尚佳。画雪山，楼阁数重，丘壑丰满，用笔工细而有气力。然非王画，乃宋时能品之画也”。由于入行久远，吴其贞的眼力很厉害，能从笔力的秀健以及精细出发，去鉴定作品的真伪，如在鉴定怀素的《自叙帖》时，强调其“运笔精细，如春蚕吐丝，脱泻光净，风韵超人，可谓前无古人后无今，为神品第一，名著当代，价值千金”。
从《书画记》可窥，吴其贞至少来过西溪南四次。第三次离开徽州后不久，天下大乱，民军造反，清兵南下，中国最发达的东南地区遭受严重创伤。经济萧条如冬，艺术市场也萧瑟一片：有的藏家衰败凛落，有的遭受兵贼的洗劫，藏品大量流失损坏。待到社会平定，人们从惊恐和惊愕中恍过神来，已是严酷而紧张的异族统治了。康熙六年（1667），已近花甲之年的吴其贞再至溪南，看见破败衰落的村落，不禁触景生情：“忆余昔到溪南观古玩，如登山阴道，应接不暇；今来两日，搜寻得见四画，人事可知……”当是时，溪南最风光的吴廷“余清斋”，宝物已被朝廷巧取豪夺干净，有一些散落民间不知所终。
在此之后，传说年逾古稀的吴其贞在替王廷宾购得《三朝宝物录》后，决定金盆洗手退出江湖。在见到风流倜傥的世家子弟王廷宾后，吴其贞从怀里掏出一个纸卷，庄重地递给王廷宾，以示对王廷宾的感谢。王廷宾展开后大惊失色，这一幅不大的纸卷就是江湖中传说的《富春山居图·剩山图》。王廷宾知道这一幅画曾藏于徽州溪南吴姓富户手中，至于如何到了吴其贞之手，到底花了多少银子？王廷宾刚想问，就见到吴其贞已转身离去，瘦削佝偻的背影慢慢变得模糊——两人从此再也没有见面。