“古刹开梁代，城南五里余。”清代东阳庠生李正奕的《法华寺》一诗，交代了古塔所在寺院的始建时间。
有资料显示，法华寺始建于南朝梁天监六年（507），最早位于城东十五里处，唐武德年间废。到了唐贞观年间，刺史厉文才辞官还乡，建宅于勒马峰下。一百多年后，他的孙子厉乾耀等兄弟六人舍宅建寺，使用了原法华寺的废额。
法华寺更名中兴寺，大约在五代吴越时期。吴越王钱弘俶笃信佛教，尊僧人德韶为“国师”。根据中兴寺塔出土的婺州东场县中兴寺新砖塔舍利记残碑可知，德韶于吴越建隆元年（960）开始建造中兴寺塔，邑人葛仁皎慷慨助资，并捐了一大批器物入塔。大约两年多后，中兴寺塔落成，自此成为东阳的地标性建筑物。
葛氏后人在此后的几百年里，一直守护着中兴寺塔，比如在宋淳化三年（992）出资修饰此塔，使塔身焕然一新，“泥圬俱新，丹漆毕就”。直至明代朱棣登基后，发生了葛诚靖难之事，葛氏一族被迫四处离散。