劳山下清宫，耐冬高二丈，大数十围，牡丹高丈余，花时璀璨似锦。
劳山的下清宫内，有一棵耐冬树，高达两丈多，树干粗达几十围；还有一株牡丹，有一丈多高，每当花开时，花朵璀璨夺目，色彩绚丽如锦。
胶州黄生舍读其中。一日自窗中见女郎，素衣掩映花间。心疑观中焉得此，趋出已遁去。自此屡见之。遂隐身丛树中以伺其至。未几，女郎又偕一红裳者来，遥望之，艳丽双绝。行渐近，红裳者却退，曰：“此处有生人！”生暴起。二女惊奔，袖裙飘拂，香风洋溢，追过短墙，寂然已杳，爱慕弥切，因题句树下云：“无限相思苦，含情对短窗。恐归沙吒利，何处觅无双？”归斋冥思。女郎忽入，惊喜承迎。女笑曰：“君汹汹似强寇，令人恐怖；不知君乃骚雅士，无妨相见。”生略叩生平，曰：“妾小字香玉，隶籍平康巷。被道士闭置山中，实非所愿。”生问：“道士何名？当为卿一涤此垢。”女曰：“不必，彼亦未敢相通。借此与风流士长作幽会，亦佳。”问：“红衣者谁？”曰：“此名绛雪，乃妾义姊。”遂相狎。及醒，曙色已红。女急起，曰：“贪欢忘晓矣。”着衣易履，且曰：“妾酬君作，勿笑：‘良夜更易尽，朝暾已上窗。愿如梁上燕，栖处自成双。’“生握腕曰：“卿秀外惠中，令人爱而忘死。顾一日之去，如千里之别。卿乘间当来，勿待夜也。”女诺之。由此夙夜必偕。每使邀绛雪来，辄不至，生以为恨。女曰：“绛姐性殊落落，不似妾情痴也。当从容对驾，不必过急。、一夕，女惨然入曰：“君陇不能守，尚望蜀耶？今长别矣。”问：“何之？”以袖拭泪，曰：“此有定数，难为君言。昔日佳作，今成谶语矣。‘佳人已属沙吒利，义士今无古押衙’，可为妾咏。、诘之不言，但有呜咽。竟夜不眠，早旦而去。生怪之。
胶州的黄生在宫里读书。一天，黄生从窗子里看见一个女郎，一身白色的衣服在花丛中若隐若现。黄生心中纳闷，怎么会有女子出现在道观里？他急忙跑出去，发现那女子已经离开了。自此之后，黄生时常见到她。他便藏身在树丛中，等候女子的到来。不久，那女子和另一位穿红衣的姑娘一同前来，远远望去，二人皆为绝色美女。两位女子越走越近，红衣女子突然退后，说道：“这里有生人！”黄生立刻站起身来。两位女子惊慌奔逃，裙子飞舞间，飘来一股迷人的香气。黄生越过短墙追去，却已不见她们的踪影。他心中非常爱慕，于是在树下题诗：无限相思苦，含情对短窗。恐归沙吒利，何处觅无双？写完诗后，黄生回到书房苦思冥想，忽然白衣女子走了进来，黄生惊喜地迎上前去。白衣女子笑道：“刚才你气势汹汹，像个强盗，真让人害怕。现在才知道你是一位风雅的读书人，所以不妨与您相见。”黄生询问她的身世，她答道：“我小名香玉，原是个妓女。后来被道士困在山中，这并非我心甘情愿的。”黄生问：“那道士叫什么名字？我会为你洗刷这耻辱。”香玉说：“不必了，他并不敢逼我。能借此机会与您这位风流才子长久相会，倒也是件好事。”黄生问：“那穿红衣服的是谁？”香玉答：“她叫绛雪，是我的干姐姐。”说完，两人便亲热起来。等到醒来时，东方已现曙光。香玉急忙起身，说：“只顾贪图快乐，忘记天亮了。”一边穿衣换鞋，一边说：“我酬答您一首诗，莫笑话：‘良夜易逝去，朝阳已上窗。愿如梁上燕，栖处自成双。’”黄生握住她的手说：“你外表秀美，内心贤淑，真令人爱得深切。但是离开一天，就像是分别千里之遥。你有空就来，不必等到晚上。”香玉答应了。从此，黄生与香玉无论早晚必在一起。黄生常常请香玉邀请绛雪，但她总不来，黄生颇为遗憾。香玉说：“绛雪姐姐性格孤僻寡合，不像我这般痴情。我会慢慢劝她，您不必过于着急。”一天，香玉神情凄惨地走了进来，说道：“您连我都留不住，还想奢望绛雪吗？今天我是来和您告别的。”黄生问：“你要去哪里？”香玉用袖子擦拭着眼泪，说：“这是命中注定的事情，难以向你解释。当初作的诗，如今应验了。‘佳人已属沙吒利，义士今无古押衙’，算是为我而作的。”黄生追问到底是什么情况，香玉却不再多说，只是不停呜咽抽泣。整夜未眠，大清早便离去了。黄生感到十分奇怪。
次日有即墨蓝氏，入官游瞩，见白牡丹，悦之，掘移径去。生始悟香玉乃花妖也，怅惋不已。过数日闻蓝氏移花至家，日就萎悴。恨极，作《哭花》诗五十首，日日临穴涕洟。
第二天，一个即墨县姓蓝的人来下清宫游览，见到白牡丹非常喜爱，就将其挖走了。黄生这才明白香玉原来是花妖，心中充满了怅恨和惋惜。几天后，听说姓蓝的把花移回家后，花儿一天天枯萎憔悴。黄生恨极了，写了五十首哭花诗，天天对着树坑哭泣。
一日凭吊方返，遥见红衣人挥涕穴侧。从容近就，女亦不避。生因把袂，相向汍澜。已而挽请入室，女亦从之。叹曰：“童稚姊妹，一朝断绝！闻君哀伤，弥增妾恸。泪堕九泉，或当感诚再作；然死者神气已散，仓卒何能与吾两人共谈笑也。”生曰：“小生薄命，妨害情人，当亦无福可消双美。曩频烦香玉道达微忱，胡再不临？”女曰：“妾以年少书生，什九薄幸；不知君固至情人也。然妾与君交，以情不以淫。若昼夜狎昵，则妾所不能矣。”言已告别。生曰：“香玉长离，使人寝食俱废。赖卿少留，慰此怀思，何决绝如此！”女乃止，过宿而去。数日不复至。冷雨幽窗，苦怀香玉，辗转床头，泪凝枕席。揽衣更起，挑灯复踵前韵曰：“山院黄昏雨，垂帘坐小窗。相思人不见，中夜泪双双。”诗成自吟。忽窗外有人曰：“作者不可无和。”听之，绛雪也。启户内之。女视诗，即续其后曰：“连袂人何处？孤灯照晚窗。空山人一个，对影自成双。”生读之泪下，因怨相见之疏。女曰：“妾不能如香玉之热，但可少慰君寂寞耳。”生欲与狎。曰：“相见之欢，何必在此。”
一天，黄生凭吊完毕刚刚返回，远远看见绛雪在树坑边擦眼泪。他慢慢地走近，绛雪也不避开。黄生上前拉住她的衣袖，两人相对哭泣。过了一会儿，黄生拉着绛雪邀请她到自己的屋里，绛雪也跟着去了。绛雪叹息道：“从小一起长大的姐妹，突然间就断了音讯！听说您很哀伤，更加增添了我的悲痛。眼泪流到九泉之下，或许她会被我们的诚意打动而复活。然而，死者的神气已散，仓促之间怎么可能与我们相聚谈笑。”黄生说：“是我的命薄，害了情人，自然也没有福气享受两位美人的陪伴。以前我多次请香玉传达我心中的诚意，为什么你再也不来了呢？”绛雪答道：“我一直认为年轻书生，十个有九个轻浮无行，却不知您如此痴情。但是我和您交往，只讲感情，不可淫乱。如果要昼夜亲热，这是我不能做到的。”说完，就向黄生告别。黄生说：“香玉已经离去，让我吃不下饭，睡不着觉，只指望你多停留一会儿，来安慰我思念的情怀，为什么要如此绝情呢！”绛雪于是留下来，住了一夜便离开了。之后连续几天绛雪都没有再来。一个清冷的雨夜，黄生望着幽暗的窗户，苦苦思念香玉，在床头辗转反侧，泪湿枕席。他披上衣服起床，点上灯，按照上首诗的韵又写了一首诗：山院黄昏雨，垂帘坐小窗。相思人不见，中夜泪双双。写完以后，自己吟诵起来。忽听窗外有人说道：“写诗不可没人相和。”黄生一听，是绛雪，便开门让她进来。绛雪看完他的诗，就在后面续了一首：连袂人何处？孤灯照晚窗。空山人一个，对影自成双。黄生读完诗，眼泪不由自主地流了下来，于是抱怨相见的机会太少。绛雪说：“我无法像香玉那样热情，但也可以稍稍安慰您心中的孤寂。”黄生想与她亲热，绛雪说：“我们相见的快乐，何必在这里呢？”
于是至无聊时，女辄一至。至则宴饮唱酬，有时不寝遂去，生亦听之。谓曰：“香玉吾爱妻，绛雪吾良友也。”每欲相问：“卿是院中第几株？乞早见示，仆将抱植家中，免似香玉被恶人夺去，贻恨百年。”女曰：“故土难移，告君亦无益也。妻尚不能终从，况友乎！”生不听，捉臂而出，每至壮丹下，辄问：“此是卿否？”女不言，掩口笑之。旋生以腊归过岁。至二月间，忽梦绛雪至，愀然曰：“妾有大难！君急往尚得相见；迟无及矣。”醒而异之，急命仆马，星驰至山。则道士将建屋，有一耐冬，碍其营造，工师将纵斤矣。生急止之。入夜，绛雪来谢。生笑曰：“向不实告，宜遭此厄！今已知卿；如卿不至，当以艾炷相炙。”女曰：“妾固知君如此，曩故不敢相告也。”坐移时，生曰：“今对良友，益思艳妻。久不哭香玉，卿能从我哭乎？”二人乃往，临穴洒涕。更余，绛雪收泪劝止。
从此以后，每当黄生感到无聊时，绛雪就会前来。她一来，两人便一起饮酒作诗，有时直到天亮不眠，黄生也随她的意。黄生对她说：“香玉是我的爱妻，而绛雪是我的好友。”黄生常问绛雪：“你是院里的哪一株花？请早点告诉我，我打算把你移到家中栽种，免得像香玉那样被恶人带走，让我终身遗憾。”绛雪回答：“我难以离开这片土地，告诉您也没用。妻子尚且不能终生相伴，何况朋友呢！”黄生不听，拉着她的胳膊到院中，每到一株牡丹花下，就问：“这是你吗？”绛雪不说话，只是捂嘴笑他。不久，到了腊月，黄生回家过年。到了二月间，他忽然梦见绛雪来了，闷闷不乐地说：“我有大难！您赶快回去，还能见上一面，迟了就来不及了。”黄生醒来觉得很惊异，急忙命仆人备马，连夜赶到山里。原来道士打算建房子，有一棵耐冬树妨碍施工，工匠正准备用斧子砍。黄生急忙阻止他们。到了晚上，绛雪来道谢。黄生笑着说：“以前你不告诉我实情，难怪会遭此厄运！现在我已经知道你了，以后你如果不来，我就点着艾条去烧你。”绛雪说：“我早知道您会这样，所以以前不敢告诉您。”坐了一会儿，黄生说：“现在见到你这个好朋友，更加思念我那爱妻。好久没有为香玉哭泣了，你能和我一起哭吗？”两人便一起到香玉的坑穴前流泪拜祭。哭到半夜，绛雪止住眼泪，劝黄生不要再伤心了。
又数夕，生方寂坐，绛雪笑入曰：“报君喜信：花神感君至情，俾香玉复降宫中。”生问：“何时？”答曰：“不知，约不远耳。”天明下榻，生嘱曰：“仆为卿来。勿长使人孤寂。”女笑诺。两夜不至。生往抱树，摇动抚摩，频唤无声。乃返，对灯团艾，将往灼树。女遽入，夺艾弃之，曰：“君恶作剧，使人创痏，当与君绝矣！”生笑拥之。坐未定，香玉盈盈而入。生望见，泣下流离，急起把握香玉。以一手握绛雪，相对悲哽。及坐，生把之觉虚，如手自握，惊问之，香玉泫然曰：“昔，妾花之神，故凝；今，妾花之鬼，故散也。今虽相聚，勿以为真，但作梦寐观可耳。”绛雪曰：“妹来大好！我被汝家男子纠缠死矣。”遂去。
又过了几个晚上，黄生正独自寂寞地坐着，绛雪笑着走进来，说：“告诉您一个好消息，花神被您的真情感动，让香玉又降生在宫里。”黄生问：“什么时候？”绛雪回答：“不知道，估计也快了。”天亮时绛雪起身离去，黄生嘱咐她：“我是为你而来的，不要让我长时间孤独寂寞。”绛雪笑着答应了，但接连两个晚上她都没有来。黄生便去抱住那棵耐冬树，摇动抚摩，连声呼唤，却没有回声。他回到屋里，在灯下盘好艾绳，正准备去灼树时，绛雪突然冲进来，夺过艾绳扔掉，说：“您玩这种恶作剧，让我受伤留下疤痕，我真要和您断绝关系了！”黄生笑着抱住了她。两人还未坐稳，香玉步履轻盈地走了进来。黄生一见到她，泪水便涌了出来，急忙起身握住她的手。香玉用另一只手握住绛雪，相对悲咽，泣不成声。坐下来后，黄生发现自己握着香玉的手是虚浮的，像手自己握着一样，便惊奇地问是怎么回事。香玉流着眼泪说：“以前的我是花神，所以是凝聚的；现在的我只是花的鬼魂，所以是分散的。今天虽然相聚，但不要当真，只当是梦中相会。”绛雪说：“妹妹来得太好了！我被你家男人纠缠死了。”说完就走了。
香玉款笑如前；但偎傍之间，仿佛以身就影。生悒悒不乐。香玉亦俯仰自恨，乃曰：“君以白蔹屑，少杂硫黄，日酹妾一杯水，明年此日报君恩。”别去。明日往观故处，则牡丹萌生矣。生乃日加培植，又作雕栏以护之。香玉来，感激倍至。生谋移植其家，女不可，曰：“妾弱质，不堪复戕。且物生各有定处，妾来原不拟生君家，违之反促年寿。但相怜爱，合好自有日耳。”生恨绛雪不至。香玉曰：“必欲强之使来，妾能致之。”乃与生挑灯至树下，取草一茎，布掌作度，以度树本，自下而上至四尺六寸，按其处，使生以两爪齐搔之。俄见绛雪从背后出，笑骂曰：“婢子来，助桀为虐耶！”牵挽并入。香玉曰：“姊勿怪！暂烦陪侍郎君，一年后不相扰矣。”从此遂以为常。
香玉依旧像从前一样欢声笑语，但两人依偎在一起时，黄生感觉就像靠着一个影子似的。因此总是闷闷不乐，香玉也十分自怨，于是说：“您用白蔹草的粉末，稍微掺一点琉璜，每天给我浇上一杯这样的水，明年的今天我就来报答您对我的恩情。”说完便告别离去。第二天，黄生去看原来的花坑，只见那白牡丹又萌发了。黄生于是每天悉心培植，还做了栅栏来保护她。香玉前来，对黄生感激不尽。黄生打算把她移植到自己家里，香玉说不行，她解释道：“我体质很弱，不能再承受被移植的折磨。而且万物生长都有其适宜的地方，我这次前来本就不打算生在您家，违背了反而会减少寿命。只要您爱怜我，总会有团圆的一天。”黄生埋怨绛雪不经常来。香玉说：“如果您一定要强迫她来，我倒有办法。”于是，她和黄生打着灯来到耐冬树下，摘了一根草，用手掌当尺，来量这棵树的高度，从下往上，到四尺六寸的地方，便用手按住，叫黄生用双手一齐挠。不一会儿，只见绛雪从树后走出来，笑着骂道：“死丫头，来助纣为虐啊！”然后她们互相挽着手走进屋子。香玉说：“姐姐不要责怪！麻烦你暂且陪侍郎君，一年后我就不打扰你了。”从此以后，这便成了常态。
生视花芽，日益肥茂，春尽，盈二尺许。归后，以金遗道士，嘱令朝夕培养之。次年四月至宫，则花一朵含苞未放；方流连间，花摇摇欲拆；少时已开，花大如盘，俨然有小美人坐蕊中，裁三四指许；转瞬飘然欲下，则香玉也。笑曰：“妾忍风雨以待君，君来何迟也！”遂入室。绛雪亦至，笑曰：“日日代人作妇，今幸退而为友。”遂相谈宴。至中夜，绛雪乃去，二人同寝，款洽一如从前。后生妻卒，生遂入山不归。是时牡丹已大如臂。生每指之曰：“我他日寄魂于此，当生卿之左。”二女笑曰：“君勿忘之。”
黄生看着那白牡丹的花芽，一天天地变得肥壮茂盛，春天结束时，已经长到二尺多高了。黄生回家后，把银子留给道士，嘱咐他早晚好好培育这棵花。第二年四月，黄生再次来到下清宫，发现已经长出一朵花，含苞待放。他在花前流连忘返，忽见那花苞摇摇晃晃地好像要开，不一会儿就绽放了，花有盘子那么大，花蕊里俨然坐着一位小美人，只有三四指长。转眼之间，她飘然下来，果然是香玉。她笑着说：“我在这里忍受风雨等着您，您怎么来得这么迟啊！”说完便进了屋子。绛雪也来了，笑着说：“天天替别人当媳妇，今天总算可以撤身当朋友了。”于是三人笑谈欢宴。到了半夜，绛雪离开了。黄生和香玉一起睡下，依然如往日般欢爱。后来，黄生的妻子去世了，他就进山不回去了。这时，那白牡丹花已经有胳膊粗细了。黄生常常指着牡丹说：“我死后就要埋葬在这里，好生在你的身旁。”两位女子笑着说：“您别忘了自己说过的话。”
后十余年，忽病。其子至，对之而哀。生笑曰：“此我生期，非死期也，何哀为！”谓道士曰：“他日牡丹下有赤芽怒生，一放五叶者，即我也。”遂不复言。子舆之归家。即卒。次年，果有肥芽突出，叶如其数。道士以为异，益灌溉之。三年，高数尺，大拱把，但不花。老道士死，其弟子不知爱惜，斫去之。白牡丹亦憔悴死；无何耐冬亦死。
十几年后，黄生忽然病倒，他的儿子赶来，在他面前伤心地哭泣。黄生笑着说：“这是我新生的日子，不是我死的日子，有什么可悲哀的！”他对道士说：“日后如果牡丹花下长出红色的花芽，一下子冒出五片叶子的，那就是我。”说完，就不再言语。他的儿子用车子把他送回家，黄生便去世了。第二年，牡丹花下果然长出了一株肥壮的花芽，正如黄生所说的有五片叶子。道士觉得十分神异，愈加悉心地照料它。三年后，这花长到几尺高，有两手合抱那么粗，却始终不开花。老道士去世后，他的弟子不懂得爱惜这株花，竟将其砍掉了。白牡丹花也枯萎而死，不久，耐冬树也凋谢了。
异史氏曰：“情之至者，鬼神可通。花以鬼从，而人以魂寄，非其结于情者深耶？一去而两殉之，即非坚贞，亦为情死矣。人不能贞，亦其情之不笃耳。仲尼读《唐棣》而曰‘未思”，信矣哉！”
异史氏说：感情到了极致，鬼神也可以沟通。花死了以后化成鬼来陪伴，而人死以后又将魂魄寄托在花的旁边，难道不是因为他们之间结成的深厚感情吗？黄生去世后，香玉和绛雪也选择了殉情，即使不说是坚贞，也是为了爱情而死。人不能守贞，也是因为他的感情不深厚。孔子读完《唐棣之花》诗说“没有思念，又有什么远不远的呢”，确实如此啊！