据史学家考证，小吏港在汉代后期就已经有了小镇的雏形，十六世纪中叶以前，已是一个能够容纳300只船的内陆码头；同时这里又是官道驿站，设有各种商行、货栈、店堂、饭铺、旅馆、赌场、澡堂、作坊等500余家。最负盛名的是竹簟行，上达三江，下抵苏杭，全国各地的客商纷纷云集，他们把外埠的货物带到小吏港，把小市的特产斑竹簟销往全国各地。
　　小吏港由于是《孔雀东南飞》故事发生地，千百年来，文人墨客和社会贤达来此凭吊者不计其数。唐代诗人李白在天宝七年（公元748年）客居庐江郡，来焦刘合葬墓瞻仰时就曾写下了深沉悲壮的诗篇《庐江主人妇》：“孔雀东飞何处栖，庐江小吏仲卿妻。为客裁缝君自见，城乌独宿夜空啼。”张恨水先生也多次来小吏港观光，并于1953年在病魔缠身的情况下，以焦刘爱情故事为题材，写成同名长篇小说《孔雀东南飞》。
　　焦刘爱情故事影响深远，在古镇小吏港四周，到处遗留有纪念他们的古建筑。上世纪三十年代初期，在焦刘合葬墓前，还存有用古青砖雕刻的墓碑一块，焦仲卿和刘兰芝的名字依稀可见。墓碑两侧，植有两株合抱粗的松柏，遒劲挺拔，枝桠相拥而长，枝枝相连，寓意“枝枝相覆盖，叶叶相交通”。墓东南一华里处，有一个村庄名叫刘家山，是刘兰芝娘家所在地；刘家山有一口古井，相传刘兰芝做姑娘时，多在此井汲水，井水清澈甘甜，兰芝死后，井水变苦，无法饮用，故名“苦水井”；井南五里有一座桥，名曰“兰芝桥”，又名“徘徊桥”，起意“五里一徘徊”。
　　与小吏港一河之隔的是焦家畈，是焦仲卿家所在地。汉时，小吏港、刘家山、焦家园同是庐江郡辖地；如今的小吏港、刘家山属怀宁县，焦家园属潜山市。小吏港镇东有一处山岗，名曰：“花山”。“两家求合葬，合葬华山旁”，古时“花”“华”通用，花山即华山。焦仲卿、刘兰芝就合葬在花山上。焦刘合葬墓，当地群众称为“孔雀坟”，二十世纪八十年代，怀宁县人民政府对此墓进行了修缮，用大理石制作了墓碑，碑文正面为：“汉焦仲卿刘兰芝之墓”。此墓为象征式纪念墓，真正的坟墓已陷落在该坟的下面。
　　小吏港还有一个名闻遐迩的古建筑——孔雀台，此台与南京凤凰台、武汉黄鹤楼并称为“长江流域三大精灵”，自古就有“到安庆必登塔，到小市必登台”的说法。
　　孔雀台亦名万年台，相传是焦仲卿和刘兰芝定情的场所。据原有碑文记载，此台始建于唐朝末年，为一土墩台；元朝在土墩上搭了竹棚，上盖竹簟；明朝永乐年间，台基用石条砌筑，台身为砖木结构；至清朝中叶开始修缮为戏台，各行各业都在特定的日期，相邀戏班在此台进行演出，少则几日，多则十天半月，并在当地形成了一种独特的文化现象。
　　距离小吏港北3华里的求雨村李家破屋，植有著名的“乾隆牡丹”。“乾隆牡丹”距今已有300多年的历史，现被列为怀宁县重点文物保护单位，并与近在咫尺的“孔雀东南飞”园林并称为小吏港“双璧”。
　　史料记载，此牡丹有三大奇绝之处：一是寿奇。有关资料表明，牡丹的寿命一般只有50余年，而此牡丹竟活了6个50年，且日渐显得茁壮。二是色奇。花具扁平形，呈白玉色，复瓣黄心，围绕花蕊有金黄、大红、水红、浅红、半白半红等5种颜色，故享有“五彩珍珠”的美誉。三是香奇。入村即可闻到它的香气，临近观之则无复嗅其馨，驻足花前，又偶有幽香扑鼻。