明末官员高弘图在《崂山九游记》中讲述，他在上清宫看到一株白牡丹，枝干颇为苍老。道士告诉他，相传在百年前，有人将这棵白牡丹挖走了，过了几年，此人死去。上清宫中的道士随后梦见有个白衣人敲门，喊道：“我今来！我今来！”第二天便看到牡丹旧根处生出新芽，而被偷花者种在家中的牡丹却枯萎了。这一传说在崂山地区流传已久，蒲松龄以此为灵感，写下了花妖故事《香玉》。
《香玉》的男主角胶州黄生在崂山下清宫借居读书，院中种着珍稀的白牡丹和耐冬（山茶花），这两棵花树高达一两丈，花开时璀璨似锦。黄生偶然看到一位白衣女子和一位红衣女子在院中走过，姿容艳丽，香风流溢，见到他便奔逃不见。黄生心生爱慕，在树下题诗道：“无限相思苦，含情对短窗。恐归沙吒利，何处觅无双。”“沙吒利”出自《太平广记》中的故事，也写作“沙咤利”，唐代韩翊与其姬妾柳氏在“安史之乱”中离散，柳氏被蕃将沙吒利恃势劫占。“无双”来自唐传奇《无双传》，王仙客与表妹无双本有婚约，但无双在战乱中入宫做了宫女，侠义之士古押衙用茅山秘药让无双假死，将她救出，与王仙客团聚。诗句既是对牡丹花后来命运的伏笔，也以“柳”喻“花”，体现出女子的花木真身。
黄生的痴情感动了白衣女子，她在夜间来与黄生约会，自称名叫香玉，红衣女子叫绛雪。香玉作诗与黄生相和：“良夜更易尽，朝暾已上窗。愿如梁上燕，栖处自成双。”二人如胶似漆地过了一段时间，不久香玉却含泪道别，说：“您的诗句成了谶语，正是‘佳人已属沙吒利，义士今无古押衙’。”第二天，即墨有个姓蓝的人游览下清宫时，看中了白牡丹，将它掘出，种到了自己家。黄生这才明白，香玉是牡丹花精，怅惘不已。之后又听说白牡丹在蓝家未能成活，悲痛地做了五十首哭花诗。绛雪也现身安慰他，但两人只以朋友相待，饮酒吟诗，并未出现狎昵之举。黄生作诗怀念香玉：“山院黄昏雨，垂帘坐小窗。相思人不见，中夜泪双双。”绛雪和道：“连袂人何处？孤灯照晚窗。空山人一个，对影自成双。”黄生感动地说：“香玉吾爱妻，绛雪吾良友也。”
后来，花神命香玉的花魂回到下清宫，和黄生、绛雪重聚，但花魂并无实体。香玉告诉黄生：“君以白蔹屑，少杂硫黄，日酹妾一杯水，明年此日报君恩。”次年，白牡丹得以再生，香玉也在绽开的花中复活。黄生和香玉、绛雪共聚多年，临死前对道士说：“他日牡丹下有赤芽怒生，一放五叶者，即我也。”黄生死后，果然在白牡丹边生出一棵五叶赤芽，植株高大，却始终不开花。又过了若干年，老道士故去，不知情的道士将这棵植物砍掉了，白牡丹和耐冬相继枯死。这一结局虽不圆满，却呼应了“情之至者，鬼神可通”的主旨，令人回味不已。