根据现存的老照片和陈列于市博物馆二楼的中兴寺塔模型，可知当年该塔为四面九层的砖结构楼阁式塔，由塔基、塔座、塔身、塔刹等组成，外观古朴、雄浑。在长达千年的岁月里，陪伴该塔的除了晨钟暮鼓梵音外，还有琅琅书声。
宋靖康二年（1127），宋室南徙，魏悼王赵廷美的七世孙、忠训郎赵公藻奉赵构敕令，来到东阳。道光《东阳县志》记载，在母亲高氏的建议下，赵公藻在中兴寺旁创办了友成书院，聘请名儒吕祖谦执教。据市政协文史资料专辑《东阳书院》执行主编华柯考证，在该书院读书的东阳学子大多考中进士，成为名臣硕儒，如葛洪、乔行简官至宰执，李诚之以名宦载入《宋史》。
到了明正统年间，中兴寺不幸毁于战火，仅余孤塔。宋代遗留的一缕书香，在明嘉靖年间回归塔下。《东阳书院》记载，明嘉靖三十三年（1554），长衢太学生郭天翔购入中兴寺废产，创办中兴书院，后改为崇正书院。到了明万历八年（1580），张居正议毁天下书院，崇正书院亦在毁中。邑令严贞度曾写文记录此事：“生闻，投匕箸走白令，此生誓与此院具冺。”得知书院即将被毁，正在吃饭的郭天翔扔下筷子就跑去找县令，誓与书院共存亡，后又让自己的儿子持状去御史台，最后出资保住了一半的书院。郭天翔既不吝金钱，又无惧鈇钺，以一己之力守护文脉，堪称文人典范。