南峰村由岭下街、岭下、西路3个自然村组成。其中，岭下街、岭下因地处南午岭下而得名，石板铺就的古道曾穿村而过。《道光东阳县志》载：南午岭，在县南十里，温处台闽必由之道。古时，由县城双岘门或东岘门而出的人们，翻过南午岭后，便会经过这里。
岭下街，之所以以街命名，是因为南来北往的旅客多在此歇脚，催生了店铺，形成了街道。当时，村南村北店铺相连，南货店、饮食店、宿夜店（即客栈）生意兴隆，店主多是外村人。久而久之，留下的店主成为原住民。
因为处在交通要道上，抗日战争时期，岭下街留下了许多值得追忆的红色足迹。《中共东阳党史》第一卷收录的抗日战争时期中共东阳地方组织分布示意图中，岭下街的名字赫然在内。
1939年10月，中共槐堂区委成立，马忠元担任区委书记，下辖岭下街、后赵、妇女3个党支部。马忠元是岭下街人，家中开有客栈，门口就是古道，本就人来人往，因此地下党员进出也不会太过引人注目。当时，中共东阳县委机关也从城区卢宅卢福星家转移到岭下街，设在马忠元家2楼。
马忠元的姐姐马海琴也是党员，马家因此成为妇女党支部的重要活动地点。1940年4月，槐堂区委组织委员蒋拥瑜接到县委指示，到马忠元家楼上，与马海琴等人刻写翻印了数千份《抗日救国十大纲领》《告全国同胞、国共两党同志书》，于5月1日在全县各交通要道、大路凉亭、集镇大村、商店公司、茶馆酒店及国民党要员家门口张贴、分发，还在国民党县政府门口张贴了“坚持抗战，反对投降；坚持团结，反对分裂；坚持进步，反对倒退”等大幅标语，全城为之轰动。当年10月，国民党警察在中共东阳县委书记徐玉书的住处搜到一封写有“如有回信，可寄南午岭下叫马海琴转”等内容的信，随即逮捕了马海琴。经历严刑拷打、拉拢利诱，马海琴始终没有吐露党的秘密。
1941年10月，中共金华县委书记陈琼不幸被捕，后在押送途中机智脱险。金属特派员陈雨笠指示他回宁波老家隐蔽，但出于对东阳的深厚感情，陈琼在返乡途中决定留在东阳，曾在马忠元家隐蔽，从事抗日宣传活动。
马忠元、马海琴姐弟的红色故事在岭下街家喻户晓。遗憾的是，马忠元家的房子于2017年被拆除。
与岭下街一溪之隔的岭下自然村，村民以胡姓为主，村中有胡氏宗祠。最初，胡氏宗祠位于西陈坞口，后因年久朽腐，屡遭风雨侵袭，加上蚁害，于清朝乾隆年间迁建于玉溪边，又经民国十四年（1925）、2005年两次重修，如今是南峰村的文化礼堂。祠内一块“肃雍”堂匾据传是明代书画家董其昌题书。祠边有2棵几百岁的古樟，枝繁叶茂，见证村庄的兴衰荣枯。
南午岭南麓，往南三四里的山坡全是紫红色石岩，俗称“猪血红”磨石。古时，磨石是工匠们不可缺少的物件，斧头、凿子经红磨石打磨，就变得锋利无比。因此，许多东阳工匠出门时总要带上一块南午岭的红磨石，以备不时之需。有谚语为证：“石鼓岭下出火石，紫溪陈宅出草席，不如南午岭下红磨石。”昔日这一带的古道边有不少馄饨店、肉饼摊，据说桌下叠满大小不一的红磨石，村民家门口也都叠着此石。如今，磨石加工行当几近绝迹。