紫薇村旧称乌朱村，因村北小山形似乌龟（别名“乌朱”）而得名。明万历年间，村人许弘纲官至南京兵部尚书，认为“乌朱”之名不雅，又见群山环抱如拱卫紫微帝星，为避皇家讳，改“微”为“薇”，定名紫薇村，山亦改称紫薇山。
紫薇山不高，却是整个村落的文脉脊梁。山不高而灵秀，林不密而清幽，与村前的刀形池塘、村中的古建筑群，绘就“四山环抱、中部平旷”的田园画卷，古谚“雌朱赶雄朱，代代出尚书”，正是这方土地的生动写照。
比自然风光更动人的，是紫薇村沉淀数百年的历史文化。这里是东阳昭仁许氏的发祥之地，自古崇文重教，人才辈出。除了许弘纲，村中还走出多位文人志士，涵养出绵长醇厚的家风文脉。而紫薇山乌饭麻糍的渊源，正是源于许氏先祖勤学苦读的佳话，历经四百余年传承，成为紫薇村文化血脉里不可或缺的一抹烟火。
紫薇村最具代表性的，当属紫薇山古民居，现为全国重点文物保护单位，也是东阳明代后期民居建筑的典型代表之作。整座建筑群依左、中、右3条主干纵轴分布，居中为许弘纲的“尚书第”，前后六进，飞檐翘角，雕梁画栋；左侧是其三弟许弘纶的“大夫第”，右侧为二弟许弘纪的“将军第”，各五进。3条轴线既自成一体，又以巷弄相连，内部互通，形成规模庞大的古建筑群落。
历经数百年风雨，将军第已湮没在岁月中，大夫第仅存部分建筑，唯有尚书第保存完好，尽显明代江南民居营造技艺的精妙。建筑采用抬梁式与穿斗式结合的木构架，梁枋之上，苏式彩绘精致典雅，砖仿木构件匠心独运，每一处细节都彰显着东阳传统营造技艺的高超水准。行走在古建筑群的青石板路上，触摸斑驳的砖墙，仰望古朴的屋檐，昔日许氏家族的荣光恍若眼前，古村人文底蕴缓缓漫入心间。