旧时县城多有龙王庙，以祈求风调雨顺。东阳老城的龙王庙在新安寺东厢，清代嘉庆年间由邑令徐传一设立。
其实，早先的龙王庙并不在城内，而是在县城西南15里，称为灵济庙，又称石井龙王庙，因为当地有潭如井，故而得名石井。
传说古时有砍柴人在潭中见到巨鳗，意欲捕捞，巨鳗忽然变形，“如蜃而角”，同时伴有神光烛山，雷雨大至。宋代嘉定中期，邑人在潭边立祠，每逢大旱就在此祈雨。根据宋人曹冠所作的《石井龙王庙记》记载“龙湫显灵东阳，多历年所”，可知在这里祈雨多有灵验。
石井龙王庙于宋代宣和年间改建，后因遭乱而湮没于榛荆。绍兴壬申（1152）在旧址重建，县令留观德请曹冠作记，刻石以传。
隆兴二年（1164），夏日久不下雨。县丞荀公铸为此忧心忡忡，斋沐后与同僚祈雨于此庙，许愿如果天降甘霖，则将重修祠宇。后来果然天降喜雨，禾苗因此而得救。全城百姓纷纷响应募捐，为石井龙王庙增建两边厢房加门楼共计13间，当年十月落成。
开禧元年（1205），龙王庙门额改为灵济庙，元至元中重修，明天启中期再次重修，由南京兵部尚书许弘纲作碑记。
在碑记中，许弘纲称石井所在的甑山“龙势奔腾”，甑山之背，双峰之肩，“溪壑山累山可，崖壁崎嵚，隐隐若龙盘而露其鳞爪者，此石井所由潭也”。
由许弘纲的碑记中可知，此潭深广如井，井壁规整犹如人工琢錾而成，令人惊讶于大自然的神工鬼斧。泠泠一水，下注潭中，水质甘美泓澄，非山外诸泉可比。山谷深处人迹罕至，“龙斯窟焉”。遇到天将下雨的时候，则谷中云雾氤氲，这也许是龙将要起驾播云布雨了吧！
许弘纲还曾带着族人到此潭祈雨。那是天启乙丑（1625）六月，许弘纲老家画水一带大旱，许弘纲刚好在家休假，于是率族人祈雨于此潭。时间在六月甲辰，族人一步一拜到潭边，当夜就大雨如注。乙巳日又下大雨，平地水流没过脚趾，池沼皆盈，岁称大有。六月丁卯日，许弘纲回到南京，画水一带又干旱，于是七月戊辰日，族人又前往石井求雨，结果庚午日就起大风，雨连日夜不休，沾足满盈，不啻前度，人固有啧啧称奇矣。
崇祯戊辰（1628），75岁的许弘纲又接到族人告信，乡里大旱。当时的他已经老迈龙钟，但仍带着族人前往石井祈雨，再次获雨，“盖龙以孟秋朔日至，信宿而雨，连日夕皆雨，舆龙而还，则又雨，里中所得，视邻境较多，始幸藉手以复于宗老矣。”
三次求雨皆应验，其实与许弘纲精于气象之说有关。久晴必雨，这是自然规律。云层、风向均可昭示会否下雨。因此，在祈雨成功后，许弘纲更多是思考为政之道，“夫一妇之冤能致三年之旱，千夫之祷顾不能为三日之霖，我未之见也。”所谓的干旱与降雨，并不会因为一名妇女之冤屈、千名壮汉之祈祷而实现，但为政者应该专注于了解民情、体察民意，将精力集聚于改善民生之上，以“丈人承蜩”的专心致志，排除一切干扰，则必然能像龙司云雨一样，为百姓带来福祉。“见龙所凭依不专在庙，而天所鉴佑则必在诚。诚之至也，龙可驯，雨可握，而况于人乎？”只要为政精诚，不仅可求雨得雨，更能令百姓丰衣足食。
将龙王庙设立于城内的徐传一系昆山人，贡生出身，乾隆五十三年（1788）到任，五十七年（1792）调任云南铜矿开采冶炼事宜，嘉庆先年（1796）回任东阳，嘉庆四年（1800）调福建长汀县，但又很快回任东阳。徐传一在东阳任上修建了多处公共设施，如养济院、忠义祠、乾元宫、东阳县汛等。
新中国成立后，老城区实施改造，龙王庙被移建至西岘峰的岘峰坑，寂寂无闻。