便提笔在树上写了一绝句：无限相思苦，含情对短窗。恐归沙吒利，何处觅无双？
他边想边走进书斋，白衣女郎忽然笑盈盈地走了进来。两人愈谈愈亲密，当夜香玉便留宿在黄生的书斋里。她高兴地对黄生说：“我也凑了一诗，良夜更易尽，朝暾已上窗。愿如梁上燕，栖处自成双。”
黄生一听，握住香玉的手说：“您秀外慧中，离了你一天，真如千里之别。”从此二人每夜必会。黄生还常求香玉邀绛雪来，绛雪却总是不来，黄生颇觉遗憾。香玉只好安慰他：“绛姐的性情落落寡合，不像我这么痴情。你得容我慢慢劝他，不要性急呀!”
一天晚上，香玉突然闯进书斋，满面凄惨地对黄生说：“咱俩永别的日子到了！”黄生一再追问究竟是怎么回事，香玉就是不肯明言，只是呜呜咽咽，哭个不止，天刚透亮香玉就走了。黄生感到十分奇怪，惴惴不安。第二天，一个姓蓝的即墨县人到下清宫来游览，见到那株白牡丹，十分喜爱，便把它挖走了。黄生这才恍然大悟，原来香玉是牡丹花妖，于是感到怅惘，而又十分惋惜。
过了一些天，黄生听说那位姓蓝的把牡丹花移植到家中，牡丹花就枯萎了。黄生痛恨极了，写了五十哭花诗，天天跑到白牡丹原来的坑穴边