常大用，洛人，癖好牡丹。闻曹州牡丹甲齐、鲁，心向往之。适以他事如曹，因假缙绅之园居焉。时方二月，牡丹未华，惟徘徊园中，目注勾萌，以望其拆。作《怀牡丹》诗百绝。未几花渐含苞，而资斧将匮；寻典春衣，流连忘返。一日凌晨趋花所，则一女郎及老妪在焉。疑是贵家宅眷，遂遄返。暮往又见之，从容避去；微窥之，宫妆艳绝。眩迷之中，忽转一想：此必仙人，世上岂有此女子乎！急返身而搜之，骤过假山，适与媪遇。女郎方坐石上，相顾失惊。妪以身幛女，叱曰：“狂生何为！”生长跪曰：“娘子必是仙人！”妪咄之曰：“如此妄言，自当絷送令尹！”生大惧，女郎微笑曰：“去之！”过山而去。
常大用是洛阳人，对牡丹情有独钟。他听说曹州的牡丹名冠齐、鲁，心中很是向往。恰好有事到曹州，他便在一个缙绅的花园中借住下来。当时是二月，牡丹还未开放，他只能在花园中漫步，注视着花枝上的嫩芽，期待着花蕊的绽放。他写下了《怀牡丹》绝句一百首。不久，花儿渐渐含苞待放，而他的旅费也快用完了，他便典当了春衣，流连忘返。一个凌晨，常大用来到花园，发现一个女子和一个老妇人在那里。他猜想她们可能是某富贵人家的亲属，于是匆匆转身离去。傍晚再次来到花园，他又遇见了她们，于是悄悄躲到一旁偷偷观察。他看到那女子身着华丽服饰，容貌绝美。正在晕眩迷茫之际，他忽然转念一想：这肯定是个仙女，凡间怎么会有这样的女子呢！便急忙返身去搜寻她们，刚一转过假山，正好跟老妇人迎面碰上。那女子坐在石头上，看到常大用后，露出惊恐的表情。老妇人挡在她前面，责备常大用：“狂生你想做什么？”常大用挺直身子跪着说：“娘子一定是个神仙！”老妇人责骂道：“说出如此荒谬之言，应该把你捆起来送到衙门！”常大用惊慌失措。那女子微笑着说：“就让他走吧。”说完，她绕过石山离去。
生返，复不能徒步。意女郎归告父兄，必有诟辱相加。偃卧空斋，甚悔孟浪。窃幸女郎无怒容，或当不复置念。悔惧交集，终夜而病。日已向辰，喜无问罪之师，心渐宁帖。回忆声容，转惧为想。如是三日，憔悴欲死。秉烛夜分，仆已熟眠。妪入，持瓯而进曰：“吾家葛巾娘子，手合鸩汤，其速饮！”生骇然曰：“仆与娘子，夙无怨嫌，何至赐死？既为娘子手调，与其相思而病，不如仰药而死！”遂引而尽之。妪笑接瓯而去。生觉药气香冷，似非毒者。俄觉肺膈宽舒，头颅清爽，酣然睡去。既醒红日满窗。试起，病若失，心益信其为仙。无可夤缘，但于无人时，虔拜而默祷之。
常大用返回时，几乎迈不开步子，想着那女子回去后如果禀告父亲兄长，他们肯定会来辱骂自己。他独自躺在空旷的书房里，后悔自己的冒失。但同时也庆幸女子没有显露生气的迹象，或许她并不在意这件事。悔恨和恐惧交织在一起，一夜过后，他竟然病倒了。天亮后，幸好没有人前来追责，他逐渐平静下来。而回忆起那女子的音容笑貌，恐惧又转化为思念。经过三天，他已经病得几乎快要死了。一天夜晚，灯火尚亮，仆人已经入眠，老妇人进来，手捧一碗药汤，对他说：“我家葛巾娘子亲手调制了一碗毒药汤，赶紧把它喝下去！”常大用听后大惊失色，过了一会儿才说：“我与你家娘子素无怨仇，何至于赐我一死呢？既然是娘子亲手调制，与其相思成疾，不如喝下这碗毒药死了还痛快一些！”说完，一仰脖子喝了下去。老妇人接过碗离开了。常大用觉得药汤香气清冷，似乎并不是毒药。一会儿只觉得肺腑宽阔舒畅，脑袋清爽，酣然入睡，一觉醒来，已经是艳阳高照了。他试着起身，发现病痛已消失，更加确信那位女子是神仙。因为没有接触到她的机会，常大用只好在没人的时候，想象着那女子站着，坐着，虔诚地跪拜，默默地祈祷。
一日行去，忽于深树内觌面遇女郎，幸无他人，大喜投地。女郎近曳之，忽闻异香竟体，即以手握玉腕而起，指肤软腻，使人骨节欲酥。正欲有言，老妪忽至。女令隐身石后，南指曰：“夜以花梯度墙，四面红窗者即妾居也。”匆匆而去。生怅然，魂魄飞散，莫知所往。至夜移梯登南垣，则垣下已有梯在，喜而下，果有红窗。室中闻敲棋声、伫立不敢复前，姑逾垣归。少间再过之，子声犹繁；渐近窥之，则女郎与一素衣美人相对弈，老妪亦在坐，一婢侍焉。又返。凡三往复，漏已三催。生伏梯上，闻妪出云：“梯也，谁置此？”呼婢共移去之。生登垣，欲下无阶，恨悒而返。
有一天，常大用在花园里散步，忽然在深树丛中迎面撞上那女子，幸好还没有旁人。他喜出望外，连忙跪地行礼。葛巾走近，将他扶起，常大用闻到她身上散发出的奇特香气，立刻伸手握住她白嫩的手腕，手指触到她的肌肤，只觉得柔软细腻，让人骨头都要酥了。他正要说话，老妇人却突然来了。葛巾示意他躲到石头后面，向南边一指，说：“夜里你用花梯翻过墙去，那四面都是红窗的，就是我住的地方。”说完，匆匆离去。常大用心情一阵沉闷，仿佛失魂落魄，不知所措。到了夜间，他搬来梯子，爬上南墙一瞧，发现对面的墙上已经放好了梯子，他狂喜着下了墙，果然看见一个四面红窗的屋子。他听到屋内传来下棋声，迟疑了一会儿，不敢上前，只好又翻墙回来。过了一会儿，他再次翻墙，下棋声依然频繁。他悄悄地靠近，看到葛巾和一个穿着素色衣服的女子对弈，老妇人坐在一旁，还有一个丫环侍候着。他又回到墙这边。来回折腾了三次，已经到了三更天。常大用伏在梯子上，就听见老妇人出来说道：“梯子是谁放在这儿的呀？”便叫来丫环一起把梯子挪走了。常大用爬上墙，想下去吧，又没有梯子，只好闷闷不乐地回去了。
次夕复往，梯先设矣。幸寂无人，入，则女郎兀坐若有思者，见生惊起，斜立含羞。生揖曰：“自分福薄，恐于天人无分，亦有今夕也！”遂狎抱之。纤腰盈掬，吹气如兰，撑拒曰：“何遽尔！”生曰：“好事多磨，迟为鬼妒。”言未已，遥闻人语。女急曰：“玉版妹子来矣！君可姑伏床下。”生从之。无何，一女子入，笑曰：“败军之将，尚可复言战否？业已烹茗，敢邀为长夜之欢。”女郎辞以困惰，玉版固请之，女郎坚坐不行。玉版曰：“如此恋恋，岂藏有男子在室耶？”强拉出门而去。生出恨极，遂搜枕簟。室内并无香奁，惟床头有一水精如意，上结紫巾，芳洁可爱。怀之，越垣归。自理衿袖，体香犹凝，倾慕益切。然因伏床之恐，遂有怀刑之惧，筹思不敢复往，但珍藏如意，以冀其寻。
第二天晚上，常大用再次前去，发现梯子已经事先搭好。四周静悄悄的，他进了屋子，发现葛巾独自坐着，一脸思索的神情。见到常大用，她惊慌地站起来，脸上泛起羞红。常大用礼貌地行了一礼，说：“我自认为福分浅薄，恐怕仙人和凡人没有缘分，没想到也有今夜呀！”说完就亲热地要抱葛巾。只觉得她腰肢纤细，只够一握，口中吐气如同兰花的芬芳。葛巾推开他说：“你为何如此急躁！”常大用笑道：“好事多磨，迟了怕连鬼也要嫉妒了。”话音刚落，远处传来了谈话声。葛巾急忙说：“玉版妹妹来了！你快躲到床下去。”常大用匆忙躲到了床下。不一会儿，听到一个女子进来，笑着说：“手下败将，还敢再和我战上一盘吗？我已经泡好了茶，特地邀请你一起共度长夜。”葛巾推辞说她已经疲倦了。玉版坚持要她去，而葛巾则坚决不肯离开。玉版开玩笑道：“你这般不舍，莫非藏了男人在屋内？”随即将她强行拉了出去。常大用从床底爬出来，心中充满怨恨，便搜寻葛巾的枕席，希望能找到一件她丢下的东西。屋内并没有梳妆盒，只在床头放着一个水晶做的如意，上面扣着一条紫色的手巾，芬芳洁净可爱。他将如意揣进怀里，翻墙回家。整理了一番衣服，他依然能闻到葛巾身上的香气，心中更加倾慕。然而因为有了钻床底的恐惧，心中便产生了送官查办的恐惧，反复思量，不敢前去了，只是将如意珍藏好，希望葛巾能来找寻。
隔夕女郎果至，笑曰：“妾向以君为君子，不知其为寇盗也，”生曰：“有之。所以偶不君子者，第望其如意耳。”乃揽体入怀，代解裙结。玉肌乍露，热香四流，偎抱之间，觉鼻息汗熏，无气不馥。因曰：“仆固意卿为仙人，今益知不妄。幸蒙垂盼，缘在三生。但恐杜兰香之下嫁，终成离恨耳。”女笑曰：“君虑亦过。妾不过离魂之倩女，偶为情动耳。此事宜要慎秘，恐是非之口捏造黑白，君不能生翼，妾不能乘风，则祸离更惨于好别矣。”生然之，而终疑为仙，固诘姓氏，女曰：“既以妾为仙，仙人何必以姓名传。”问：“妪何人？”曰：“此桑姥。妾少时受其露覆，故不与婢辈等。”遂起欲去，曰：“妾处耳目多，不可久羁，蹈隙当复来。”临别，索如意，曰：“此非妾物，乃玉版所遗。”问：“玉版为谁？”曰：“妾叔妹也。”付钩乃去。
隔了一个晚上，葛巾果然现身，笑着说：“我一直认为你是个正直的人，没想到你竟是个小偷。”常大用回答说：“确实如此！我之所以偶尔做了一回小偷，只是希望大家能够如意罢了。”说完，他将葛巾拥入怀中，解开她裙子上的纽扣。她白皙的皮肤一露，散发着温暖的香气，依偎搂抱着她，只觉得鼻息汗气，无不馥郁芬芳。常大用接着说：“我一直猜想你是个仙女，现在更加确信了。能够得到你的爱，真是前世有缘。只恐怕仙女下嫁，终究只是一场离愁别恨。”葛巾笑着回答：“你太多心了。我不过是那离魂的人间倩女，偶然为情所动罢了。这件事务必保密，恐怕会有搬弄是非的人颠倒黑白，弄得你不能长上翅膀逃走，我也不能乘风而去，到那时，因祸分离可比好离好散要更惨呀。”常大用答应了她，但仍然怀疑她是否真的是仙女，因此不断询问她的姓氏。葛巾回答道：“既然你认为我是仙女，那又何必在意我的姓名呢？”常大用又问：“那个老妇人是谁？”葛巾解释说：“她是桑姥姥。我小时候受到她的照顾，所以对她不和丫环们同等看待。”说完她就起身要离开，并表示：“我那里耳目众多，不能久留，有机会我会再来的。”临别时，她向常大用要了如意，解释道：“这并不是我的东西，是玉版姐姐丢下的。”常大用问道：“玉版是谁？”葛巾回答：“她是我的堂妹。”常大用将如意交给了葛巾，她便离开了。
去后，衾枕皆染异香。从此三两夜辄一至。生惑之不复思归，而囊橐既空欲货马，女知之，曰：“君以妾故，泻囊质衣，情所不忍。又去代步，千余里将何以归？妾有私蓄，卿可助装。”生辞曰：“感卿情好，抚臆誓肌，不足论报；而又贪鄙以耗卿财，何以为人乎！”女固强之，曰：“姑假君。”遂捉生臂至一桑树下，指一石曰：“转之！”生从之。又拔头上簪，刺土数十下，又曰：“爬之。”生又从之。则瓮口已见。女探入，出白镪近五十余两，生把臂止之，不听，又出数十铤，生强分其半而后掩之。
葛巾离开后，被子和枕头上都留着一种奇特的香气。从那时起，每隔三五个晚上，葛巾就会前来一次。常大用迷恋着葛巾，不再考虑回家，但行囊已经空空如洗，于是他打算卖马。葛巾得知此事后对他说：“你为了我，花光了所有的钱财，甚至典当了衣物，我实在不能忍心。现在你又要卖掉马匹，一千多里的路程，以后怎么回家呢？我有些积蓄，可以帮你应付开销。”常大用不愿接受，说道：“我非常感激你的好意，就是摁住胸口，拿身上的肉来起誓，也不足以报答你对我的感情。如果我再贪图你的钱财，那我还算得上是个人吗？”葛巾坚持要帮他，说：“把它当作是我的借给你的。”然后，她拉着常大用的胳膊来到一棵桑树下，指着一块石头说：“把它挪开！”常大用依言而行。葛巾又拔下头上的簪子，在土地上刺了几十下，然后说：“把土挖开！”常大用又照做了，于是土地下露出了一个瓮口。葛巾伸手进去，取出了五十多两白银。常大用拉住她的胳膊不让她再拿，葛巾不听，又取出十几锭，常大用强迫她放回去一半，又将土盖上。
一夕谓生曰：“近日微有浮言，势不可长，此不可不预谋也。”生惊曰：“且为奈何！小生素迂谨，今为卿故，如寡妇之失守，不复能自主矣。一惟卿命，刀锯斧钺，亦所不遑顾耳！”女谋偕亡，命生先归，约会于洛。生治任旋里，拟先归而后迎之；比至，则女郎车适已至门。登堂朝家人，四邻惊贺，而并不知其窃而逃也。生窃自危，女殊坦然，谓生曰：“无论千里外非逻察所及，即或知之，妾世家女，卓王孙当无如长卿何也。”
一天晚上，葛巾对常大用说：“最近有了一些谣言，我们不能再这样继续下去了，这不能不预先商量商量。”常大用吃惊地说：“我们该怎么办？我素来行事谨慎，但因为你的缘故，才像寡妇一样失去操守，不再能自己做主了。全听你的安排，任凭刀锯斧钺架在脖子上，也无暇顾及了！”葛巾计划了一起逃离，让常大用先回家，他们约定在洛阳见面。常大用整理好行装回家，他打算先回去，然后再来接葛巾，谁想他一到家，葛巾的车子恰巧也到了家门口。他们便登堂拜见家里的人，左邻右舍听说常大用带回一个媳妇很是惊奇，都来祝贺，但并不知道他们是偷偷逃回来的。常大用感到有些害怕，而葛巾则非常坦然，对他说：“且不说千里之外他们查不到这儿，就是被人知道了，我是官宦大户人家的女儿，就像当初卓王孙对司马相如也怎么不了一样，你可以放心。”
生弟大器，年十七，女顾之曰：“是有慧根，前程尤胜于君。”完婚有期，妻忽夭殒。女曰：“妾妹玉版，君固尝窥见之，貌颇不恶，年亦相若，作夫妇可称佳偶。”生请作伐，女曰：“是亦何难。”生曰：“何术？”曰：“妹与妾最相善。两马驾轻车，费一妪之往返耳。”生恐前情发，不敢从其谋，女曰：“不妨。”即命桑妪遣车去。数日至曹。将近里门，婢下车，使御者止而候于途，乘夜入里。良久偕女子来，登车遂发。昏暮即宿车中，五更复行。女郎计其时日，使大器盛服而迎之。五十里许乃相遇，御轮而归；鼓吹花烛，起拜成礼。由此兄弟皆得美妇，而家又日富。
常大用有个弟弟名叫常大器，年仅十七岁。葛巾看到他，对常大用说：“这是个有慧根的人，他的前程比你还远大。”大器快到完婚的日子时，他的未婚妻突然夭折了。葛巾提议说：“我的堂妹玉版，你曾经见过，相貌不错，年龄也相当，他们两个在一起真是天作之合。”常大用听了笑了起来，调侃着要葛巾做媒。葛巾说：“如果你真的想让她来，那也不是难事。”常大用兴致勃勃地问：“有什么办法？”葛巾答道：“我和妹妹关系最好。只要用两匹马拉上一辆小车，派一个老妇人往返一趟就行了。”常大用担心这样会暴露他们私奔的事情，不敢同意葛巾的计划，但葛巾坚持说：“没问题。”便驾车，派桑姥姥前去。几天后，车子到达曹州，桑姥姥在里口下车，让车夫在路边等待，自己则趁着夜色进了花园。过了好久，她带了一个女子回来，上车出发了。她们晚上就睡在车里，到五更天时再继续赶路。葛巾估计了一下时间，让大器穿着礼服前去迎接，走了五十多里路才遇上，大器行了亲迎之礼。家中鼓乐齐鸣，花烛明亮，新郎新娘拜堂成亲。从此，常家兄弟都娶了美丽的媳妇，而家中的日子越来越富裕。
一日有大寇数十骑突入第。生知有变，举家登楼。寇入围楼。生俯问：“有仇否？”答云：“无仇。但有两事相求：一则闻两夫人世间所无，请赐一见；一则五十八人，各乞金五百。”聚薪楼下，为纵火计以胁之。生允其索金之请，寇不满志，欲焚楼，家人大恐。女欲与玉版下楼，止之不听。炫妆下阶，未尽者三级，谓寇曰：“我姊妹皆仙媛，暂时一履尘世，何畏寇盗！欲赐汝万金，恐汝不敢受也。”寇众一齐仰拜，喏声“不敢”。姊妹欲退，一寇曰：“此诈也！”女闻之，反身伫立，曰：“意欲何作，便早图之！尚未晚也。”诸寇相顾，默无一言。姊妹从容上楼而去。寇仰望无迹，哄然始散。
一天，几十个骑马的强盗突然冲进常宅。常大用察觉到事情不对，立即让全家上了楼。强盗们闯入院子，包围了楼房。常大用俯身向下询问：“我们之间有何仇怨？”强盗答道：“并无仇怨。我们有两个请求：一是听说两位夫人是凡间没有的美人，请求一见；二是我们兄弟五十八人，请赐给每人五百两银子。”强盗们在楼下堆起柴禾，威胁要放火焚烧楼房。常大用同意了他们的勒索要求，但强盗们仍不满意，坚持要烧毁楼房，常家众人惶恐不安。葛巾和玉版要下楼，别人阻止她们也不听。她们身穿艳丽妆饰，走下楼，站在离地三级的台阶上，对强盗们说：“我们姐妹都是仙女，临时下凡间，又岂能畏惧你们这些强盗！倒是想奉赐你们白银万两，只恐你们不敢接受。”强盗们一起仰头跪拜，齐声说“不敢”。姐妹们正要回身，一个强盗却说：“这是在骗我们！”葛巾听后，转身站定，说：“你们想做什么，考虑清楚了，现在还不算太迟。”众强盗面面相觑，默不作声，姐妹们从容登上楼去。强盗们仰头看了一会儿，见姐妹们已经不见踪影，这才纷纷散去。
后二年，姊妹各举一子，始渐自言：“魏姓，母封曹国夫人。”生疑曹无魏姓世家，又且大姓失女，何得置之不问？未敢穷诘，心窃怪之。遂托故复诣曹，入境谘访，世族并无魏姓。于是仍假馆旧主人，忽见壁上有赠曹国夫人诗，颇涉骇异，因诘主人。主人笑，即请往观曹夫人，至则牡丹一本，高与檐等。问所由名，则以其花为曹第一，故同人戏封之。问其“何种”？曰：“葛巾紫也。”愈骇，遂疑女为花妖。既归不敢质言，但述赠夫人诗以觇之。女蹙然变色，遽出呼玉版抱儿至，谓生曰：“三年前感君见思，遂呈身相报；今见猜疑，何可复聚！”因与玉版皆举儿遥掷之，儿堕地并没。生方惊顾，则二女俱渺矣。悔恨不已。后数日，堕儿处生壮丹二株，一夜径尺，当年而花，一紫一白，朵大如盘，较寻常之葛巾、玉版，瓣尤繁碎。数年茂荫成丛，移分他所，更变异种，莫能识其名。自此牡丹之盛，洛下无双焉。
又过了两年，姐妹们分别生下了儿子，才渐渐说出：“姓魏，母亲被封为曹国夫人。”常大用怀疑曹州并没有姓魏的世家大族，而且大族人家丢了两个女儿，怎么会置之不问呢？他虽不敢追问，但心里暗自觉得奇怪。于是他找了个理由再次前往曹州，在那里四处打听，却发现世家大族中并没有姓魏的人。于是他仍旧借住原来的那个花园中。他忽然发现墙上挂着一首《赠曹国夫人》的诗，内容颇为奇异，于是向主人询问。主人一笑，就请他去观赏曹国夫人，到面前一看，却是一棵牡丹，跟屋檐一样高。常大用询问其名字来源，得知这株牡丹在曹州享有盛名，所以被朋友们戏称为曹国夫人。常大用问这是什么品种，主人笑道：“这叫葛巾紫。”常大用更感惊讶，开始怀疑葛巾她们是否为花妖。回到洛阳后，并未直接质问，只是叙述那首《赠曹国夫人》诗来察言观色。葛巾一听马上皱了眉头，变了脸色，迅速出了门，叫玉版抱着儿子来到常大用面前，对他说：“三年前，我被你对我的思念感动，才显出人形，以身相报。现在你既然猜疑了，又怎么能再生活在一起呢！”说完，她和玉版一起举起孩子远远地扔出去，孩子一落地就消失了。常大用吃惊地回头看，那两个女子也都渺无踪影了。常大用懊悔不已，过了几天，孩子落下的地方长出两株牡丹，一夜之间就长到一尺，当年就开了花，一株是紫花，一株是白花，花朵有盘子那么大，与一般的葛巾、玉版相比，花瓣更加繁碎。过了几年，两株牡丹更为枝繁叶茂，形成了花丛，一移到别的地方，就变了品种，没人能知道它们的名字。从此洛阳的牡丹就名列天下第一了。
异史氏曰：“怀之专一，鬼神可通，偏反者亦不可谓无情也。少府寂寞，以花当夫人；况真能解语，何必力穷其原哉？惜常生之未达也！”
异史氏说：心怀专一的人，就能与鬼神沟通，如此看来葛巾也不能说是无情了。当年白居易寂寞时，还将花比作夫人，何况那牡丹真的能了解人意，甘为人妻，又何必要竭力探明其根底呢？可惜常大用没能通达啊！