水上公园原来是一片水，叫青龙潭。民国时，夏季来临，每天到此乘凉游憩的舟船多达二十余只，文人们经常光顾这里，留下很多脍炙人口的诗篇。诗中“红藕将残，白萍未老，柳丝冉冉，犹带斜晖”的佳句，使人身临其境般地感受到青龙潭水乡的清新和野趣。新中国成立后，在青龙潭基础上修起的水上公园，亦有不少名家于此留下一些诗词佳作。
红学家周汝昌赞叹水上公园“千顷湖烟笼弱柳，何须艳说瘦扬州”。王学仲《满庭芳·水上公园》词云：“春水粼粼，轻舟袅袅，嫩绿稚柳妆新。翩翩波面，芰荷发清芬。盛事西园雅集，豪情北海轮囷。津门士，骋怀游目，飞燕剪波纹。欢欣纷般礴，丹青炳焕，光触星辰，更拈诗和韵题襟。最喜唾珠落雪，果然胜友如云，定难忘，饱餐湖绿，满酌醉斜曛。”词人寇梦碧留下七绝一首：“时代飞腾竞著鞭，耽吟我也忘衰年。好将飞虎云龙气，写入春花秋月篇。”徐特立和谢觉哉多次莅临水上公园，也都曾题诗。