明永乐年间，唐东阳县令张潮的后人张盛（字孟升）被螺峰山的秀美景色吸引，感慨“溪之源发自大盘，曲折而幽演，逶迤于是地。其流则过荆浦，经画溪而入大江，诚隐居之地也”，于是在山脚建起花厅作为宅邸，又修筑“养正堂”作为读书之地，并自号“湖溪钓隐”。从此寄情于这方山水天地。随后，其兄弟张德、张明相继迁入湖溪，张氏族人从此在这一带扎根繁衍。
张盛虽隐居于湖溪，但心存魏阙。明正统三年（1438），朝廷战事吃紧，军需紧张，张盛毫不犹豫地将自家粮食、马匹献出。两年后，天灾降临，饥荒肆虐，百姓饥困交加，苦不堪言，张盛又捐出稻谷1100石以赈饥民。县令听闻此事后深受感动，将其事迹整理上报朝廷。朝廷得知后，特赐敕书褒奖他，授予他“义民”称号，并封以散官之职，以彰其德。根据道光《东阳县志》的记载，托塘张氏祠前曾有为张盛而立的旌义坊。
受张盛影响，湖溪人向有仗义疏财的风气。南江自东向西穿村而过，江宽流长，无桥则南北交通阻碍。清康熙年间，溪上无桥，靠木排摆渡，一遇严寒季节，行人来往不便。张盛的后人张国燧首捐重资，于清乾隆五年（1740）在南江上架起两座木桥，各长50余丈、宽4余尺，谓之双桥，即该村中心桥（忠愍桥）和博济桥的前身。
因湖溪村地势低洼，溪流曲折，每遇汛期即洪水泛滥成灾，木桥、石桥常被冲毁。清嘉庆六年（1801），当地民众捐资买扁舟设义渡，成立义渡会。渡口曾建一凉亭，供候渡人小憩。直至清光绪二十二年（1896），百姓捐资建造的清济桥落成，义渡才废止。
此后，湖溪村依然有仁人义士持续捐资建桥，延续着“毁而复建，愈挫愈勇”的架桥精神。1989年，博济桥、清济桥被洪水冲毁，村两委会集众人之力，募资重建。
各座凉亭也是湖溪人乐善好施精神的生动见证。湖溪村地处八里湾平原，南北东西交通便利，乡村古道四通八达。《湖溪镇志》记载，湖溪村曾先后建有12座凉亭，供过路行人躲风避雨和村民田间劳作时休憩。村西1公里处，通往横店的古道上，曾有一座始建于清光绪二十三年（1897）的风云亭，由沈泰华捐资建造，往来行人可以在此亭饮用免费的茶水。此外，还有清波亭、义渡亭等凉亭。如今凉亭已不复存在，但从文字记载可知当地盛行“路遇困厄必伸手”的淳朴民风。