清光绪年间，时任安徽按察使任兰生，遭内阁学士周德润弹劾其“盘踞利津，营私肥己”，朝廷核查后认定“所参条款皆不属实”，但仍以旧案“知情徇隐”幕僚屠幼亭为由，将其革职。光绪十一年（1885），任兰生归乡吴江同里，耗银10万两修建此园，取名自《左传》“林父之事君也，进思尽忠，退思补过”，以表自省之心、自警之志。
退思园占地5674平方米，横向布局，从西向东依次为住宅、庭院、花园。住宅由门厅、茶厅、正厅和两幢起居小楼组成。庭院是住宅与花园间的过渡地带，以回廊围合而成，院南有迎宾馆、岁寒居，用于待客会友；院北有坐春望月楼，用于客人居住；院东有月洞门，直通花园。这是古代江南小型园林的建筑典范，它在有限的地域和空间内，为人们提供了一个人工与天然结合的景观。
院内的主体建筑，是面阔五间的退思草堂。堂前月台挑水面三尺，恍若浮在涟漪上的莲台。堂内挂着晚清书画家彭玉麟手书“菰雨生凉”匾额，取自姜夔“翠叶吹凉，玉容销酒”句意。东厢琴房是任兰生与友人抚琴吟诗、挑灯夜话的地方。传说某夜暴雨骤至，任兰生掷笔长叹，将自己写的《河防十策》付之一炬，然后转身在墙上写下“且将浮名，换了浅斟低唱”。如今，焦痕犹在，字迹却已消弭无踪，与主人境遇如出一辙。
沿着石径往里走，映入眼帘的便是水香榭。此榭三面环水、凌波而筑。当年任兰生罢官归乡时，特将书斋设置于此。榭内悬“清风明月不须一钱买”匾额，笔锋透出嶙峋骨力。凭栏可见池西“闹红一舸”，石舫踩波踏浪，舷侧湖石被水流凿出蜂窝式孔窍。舫内花窗以冰裂纹作底，嵌琉璃海棠，别具一格。据说任兰生常以海棠自喻，不知其心中有何寄托。过三曲桥，便抵达位于园中心的菰雨生凉轩。轩内一面落地镜将池水、假山、回廊尽收其中。轩后白皮松掩映的粉墙上嵌着任兰生手书碑刻“补过”二字。
登上园中天桥，方悟出“退思”之妙。此桥跨越园东，南接辛台读书楼，北抵眠云亭赏景处，一楼一亭矗立左右，一桥飞架其上，犹如一架悬空天平。桥下池水清澈如镜，将南北建筑倒映成虚实双园。据光绪《吴江县志》记载，任兰生曾在此处自警：“退则思过，进则思民。”或许，直到被弹劾之后，他才彻底领悟当官为民的信条。复职后，他赴安徽督办赈务，“周历灾区千百余里，冒雪奔驰，问民疾苦”，主持修复河堤、疏浚河道。光绪十四年，黄河突然决口，他巡视时飞骑坠马，伤重不治而亡。清廷追授其内阁学士衔，以示表彰。