湖溪镇当地流传着几句顺口溜：“两屏守东西，一脉镇南北。”“两屏”指位于该镇东南部的黄藤岩和西部的八面山，两山遥相呼应，仿佛两道屏障；“一脉”指东阳南北乡分水岭。东阳的地形是三山（诸暨山脉、大盘山脉和括苍山脉）夹两水（南江和东阳江），其中大盘山脉为南北乡分水岭，这条山脉的余脉在湖溪镇北部。
黄藤岩为何叫“岩”不叫“山”？因为它“长”得有些特殊。黄藤岩三面皆是断崖绝壁，岩石裸露，山上的奇峰怪石千姿百态，民间有“黄藤岩赛方岩”之说。
从山下的南江村西堆（古称“世戴”）自然村遥望，只见黄藤岩孤峰突起，如一根巨大的石柱，其峨峰耸峙之势引得不少文人骚客为其赋诗吟诵。清乾隆二十七年（1762）重修的《东阳吕氏宗谱》中收录了大量描写黄藤岩的文字，其中明朝文人熙皞子所撰写的《藤岩赋》一文，将其壁立千仞的地理特点描绘得淋漓尽致：“既堂堂而正正，复表表而亭亭……觇穹窿之势耸，窥郁葱之气凌。据千寻之磅礴，跨万仞之崚嶒……嵸巃若岱，峻峭疑嵩。依稀赤壁，仿佛崆峒……”
由“黄藤”之名可知，山间应长有黄色藤蔓。《东阳吕氏宗谱》内确实有多首诗、赋中出现了“藤”的身影。如《蟠谷八景诗》中的《藤岩探月》，就有“藤萝缭绕依岩坡，万古名称永不磨”之句；熙皞子的《藤岩赋》中，提到“薜萝附而袅袅，芝兰秀而欣欣”。可见“藤”是黄藤岩的一大特色。西堆村民吕金仁告诉记者，这座山春天时山体多缠绕着根茎粗壮的藤蔓，颜色呈黄色，生命力极强，长达数十米，附岩绕树蔚为壮观，“黄藤岩”一名由此而来。
《东阳吕氏宗谱》还收录了明万历三十年（1602）东阳县令姚永济批示的《“黄藤岩”批照》：“（四十一）都（内）有‘黄藤岩’，府、县志书备载圣迹流水册籍，向无山号……因见巉岩暴露，众户捐资植木……批照存证。”自此，“黄藤岩”一名正式有了官方认证。
“黄藤岩，在县南七十里清潭之上，高三百丈，周三里。峻拔天表，止一鸟道攀援而登。其顶宽平可居，昔人避乱多趋此。傍有石笋空插。”从《道光东阳县志》中的这段文字可知，三面绝壁的黄藤岩过去仅有一条鸟道可攀登。吕金仁解释，清嘉庆二年（1797）之前，欲上山顶，只有两个方法，其一需多费腿脚，绕道后山沿着状如马鞍的山脊而上；其二则需体力与勇气并存，利用缠绕在山体上的黄藤攀援。
山间现存的古道由清嘉庆年间世戴太学生吕英仕出资建造。史料记载，吕英仕见山顶庙宇受风雨剥蚀而颓废，有意迁址重建，但当时道路险塞，行之艰难，于是捐资凿山通道。清嘉庆年间的进士卢炳涛曾撰写《国学“退圃”吕公（英仕）行转》，赞颂了吕英仕的事迹：“公因羊肠径恶，后因费乏，遂舍己资，运石为路，去险成平……诸凡整旧、制商、俗宜，乡里俱从之。此非徒才足以服人，抑亦德有以感之也！”
日月更迭，岁月流转。幽幽古道早已变迁。如今从西堆自然村上到黄藤岩山顶十分便利，汽车可以直接开到山腰，从山腰处拾级而上，即可到达山顶，前后花费不到半小时。
吕英仕修建古道的原址