常大用，是洛阳人，特别喜爱牡丹，听说曹州牡丹甲齐鲁，就一心想去看看。恰好因为有别的事来到曹州，常大用就借住在一家官宦人家的花园里。当时是二月天，牡丹还没开放。他整天在园中徘徊，注视着那幼芽，希望它早日开花，并作了一百首怀牡丹诗。不久，牡丹渐渐含苞待放，而他的盘缠也快用完了。他就找了些春天的衣服典当点钱生活，整日流连于牡丹园中，忘了回家。
一天凌晨，常大用来到牡丹花园，看见一位女郎和一位老婆婆已经先在那里。他怀疑是富贵人家的家眷，就赶紧回来了。黄昏时候，他又去，又看见她们，就从容地躲在一旁。远远地偷看她们，只见那女郎穿着十分艳丽的宫装，令人眼花缭乱。常大用迷惑不解，转念一想：这一定是位仙人，人间哪有这么美丽的女子！急忙返回去寻找她们。他转过假山，正好遇到老婆婆，那女子正坐在石头上，他们相互看见都吃了一惊。老婆婆用身子挡住女郎，呵叱常大用说：“大胆狂生，你想干什么？”常生直挺挺地跪着说：“娘子必定是神仙！”老婆婆斥责他说：“如此妄言，就该捆起来送到县官那里！”常生非常害怕。女郎微笑着说：“我们走吧！”就转过假山走了。常生往回走，连脚也迈不动了。心想那女郎回家告诉父母，必定有人来辱骂他。他仰面躺在床上，后悔自己卤莽冒失；又暗自庆幸女郎脸上没有怒容，也许没把这事放在心上。他一会儿后悔，一会儿害怕，折腾了一夜晚病倒了。第二天太阳老高了，不见有来兴师问罪的，常大用心情才慢慢平静下来。他回想起女郎的音容笑貌，又转害怕为想念了。这样过了三天，憔悴得快要死了。
这天深夜，仆人已经睡熟了，常生还点着蜡烛没睡。忽然上次见过的那个老婆婆走进来，手中捧着个杯子说：“我家葛巾娘子亲手调和了毒药，要你赶快喝了。”常生听了非常害怕，随后就说：“我与娘子从来没有什么怨仇，何至于赐我死呢！既然是娘子亲手调和的，与其相思得病，不如服毒死了好！”于是接过怀子就喝了下去。老婆婆笑着接过怀子走了。常生觉得药味又凉又香，不像是毒药。一会儿，觉得胸中宽松舒畅，头脑清爽，酣然入睡。一觉醒来，红日满窗。常大用试着起来，病全好了，心中更加相信她们是神仙。没有机会巴结她们，只能在没人的时候到她站过、坐过的地方，虔诚地跪拜，默默地祷告。
一天，他正在园中散步，忽然在树林深处，迎面遇见那女郎。幸好没有别人，常生高兴极了，立即跪在地上。女郎过来拉他，常大用忽然闻到女郎身上有种奇异的香气，就手握着女郎雪白的手腕站起来，只觉女郎皮肤柔软细腻，令人骨节欲酥。正想说话，老婆婆忽然来了。女郎叫常大用藏到石头后面，指着南边说：“夜里你用梯子翻过墙去，见四面红窗的房子，就是我住的地方。”说完匆匆走了。常生怅然若失，像掉了魂，不知道女郎到什么地方去了。到了夜里，他搬了梯子登上南边的墙头，看见墙里边已经有个梯子放在那儿。常生高兴地踩着梯子下去，果然看见有座四面红窗的房子。听到屋里有下棋的声音，不敢往前走。在外面站了很长时间，只好翻墙头回去。一会儿，再过来，棋子的声音仍然频频作响。常生慢慢靠近窗户偷看，见女郎同一个素色衣服的美人正在下棋，老婆婆也坐在那儿，有一个丫鬟在旁边侍候。他只好又返回去。往返了三次，已经三更天了。常生伏在梯子上，听到老婆婆出来说：“梯子！谁放在这里的？”叫丫鬟来一起把梯子搬走了。常生爬上墙头，想下去没有梯子，只好闷闷不乐地回去。
第二天夜里常生又去，梯子已经放在那儿。幸亏寂静无人，常生进去，看见女郎独自坐着，似乎在想什么事。看见常生，女郎吃惊地站起来，羞羞答答地斜过身子站着。常生作了个揖说：“我自以为福分浅薄，恐怕同仙人没有缘份，想不到会有今天！”说着就亲热地拥抱她，只觉得她腰身纤细只有一把，呼出的气息像兰花那么清香。女郎撑拒着说：“你怎么这样性急？”常生说：“好事多磨，慢了怕鬼嫉妒！”话没说完，就听见远处有人说话。女郎急忙说：“玉版妹子来了，你可暂时藏到床底下！”常生听从了。不一会儿，一个女子进来，笑着说：“败军之将，还敢和我再战一场吗？我已经烹好了茶，特来邀你痛痛快快地玩一夜。”女郎借口困倦推辞。玉版再三请求，女郎坐着坚决不去。玉版说：“如此恋恋不舍，是不是有男人藏在房里？”强拉着她出门走了。常生爬出来，恨死了玉版。就搜索女郎的枕头席子，希望得到一件女郎遗留的东西。可是房中并没有香奁等物，只有床头上放着一个水晶如意，上边系着条紫巾，芳香洁净，十分可爱。常生揣到怀里，翻墙回到住处。整理自己的衣衫时，闻到沾染的香味依然浓郁，使他对女郎的倾心爱慕更强烈了。可是想到趴在床底下的恐惧心情，又怕被人发觉受到惩罚，想来想去不敢再去了。只有把如意珍藏起来，希望她能来寻找。
隔了一夜，女郎果然来了，笑着说：“我向来以为你是个正人君子，想不到你竟是个小偷！”常生说：“确实如此！之所以偶然一次不做君子，是希望能得到如意。”说着就把她揽在怀里，替她解掉衣裙。女郎洁白的肌肤刚露出来，温热的香气便四处流散。偎抱之间，觉得她鼻息汗气，无处不香，常生就说：“我本来就认为你是仙人，如今更知道不是假的。有幸得到你的赏识，真是三生有缘！只是怕像杜兰香的下嫁，终成离恨！”女郎笑着说：“你过虑了。我不过是钟情的少女，偶然为情爱动了心。这件事你一定要谨慎秘密，怕那些爱搬弄是非的人，捏造黑白；那样你不能插翅飞走，我也不能乘风驾云，遭受灾祸而分离比好离好散就更惨了！”常生认为她说得很对；但始终认为她是仙人，就再三询问她的姓氏。女郎说：“你既然认为我是神仙，仙人何必留姓传名呢？”常生问：“那老婆婆是什么人？”女郎说；“她是桑姥姥，我小时受过她的照顾，所以待她与别的仆人不同。”接着就起来想走，说：“我那里耳目多，在外面不能待得时间太长，有空我还会再来。”临别的时候，向常生讨还如意，说：“这不是我的东西，是玉版遗留在我那儿的。”常生问：“玉版是谁？”女郎说：“是我的叔伯妹妹。”常生把如意还给她，她就走了。
女郎走后，常生的被子枕头都沾染了异香。从此女郎每隔两三晚上就来一趟。常生迷恋她，不再想回家；但是盘缠全花光了，就想卖马。女郎知道以后，说：“你为了我的缘故，才花光了盘缠，又典当了衣服，我实在过意不去。现在你又要卖马，一千多里路你怎么回去？我有点积蓄，可以帮你一点忙，”常生推辞说：“感谢你对我的真情，无论怎样我也无法报答你。如再贪心花费你的钱财，我还怎么做人呢？”女郎坚决要给他，说：“就算是暂时借给你吧！”接着拉着常生的胳膊，来到一株桑树下，指着一块石头说：“搬了它。”常生就把石头搬了。女郎拔下头上的簪子，在土上刺了几十下，又说：“把土扒开。”常生照做了，已经能看见瓮口了。女郎把手伸进瓮里，取出将近五十两银子。常生拉住她的胳膊制止，她不听，又拿出十几锭银。常生强迫着放回去一半，把瓮掩埋好了。一天夜里，女郎告诉常生说：“近几天有些流言，看情景我们不能长聚了。这事我们不能不先商量一下。”常生吃惊地说：“这可怎么办？我一向小心谨慎。如今为了你的缘故，就像寡妇丧失了平日的操守，不能也作不了自己的主。我一切听你的，刀锯斧铖也顾不得了！”女郎出主意说一块逃走，叫常生先回家，约定到洛阳相会。常生收拾行装回家，准备回家后再来迎她。他刚到家门口，女郎的车子也到了，于是一同进门拜见家人。街坊四邻都惊奇地来祝贺，并不知道他们是偷着逃出来的。常生暗暗担心，女郎却很坦然，告诉常生说：“不要说在千里之外寻访不到，就是知道了，我是世代显贵人家的女儿，家里也不敢把我怎样！”
常生的弟弟常大器，这年十七岁。女郎看到他，对常生说：“弟弟本质聪明，前途比你强多了。”大器已定下了完婚的日期，未婚妻忽然死了。女郎说：“我妹妹玉版，你曾经偷偷地见过，相貌很不错，跟弟弟年龄相仿，结为夫妇可称是天生的一对。”常生一听就笑了，用开玩笑的口气请她说媒。女郎说：“如一定要娶她，并不很难。”常生高兴地说：“有什么办法？”女郎说：“妹子同我最要好。只要两匹马驾一辆轻车，派个老婆子跑个来回就行了。”常生害怕他们自己过去的事会暴露，不敢听从她的主意。女郎一再说：“没有妨碍。”就让驾车，打发桑姥姥去接。几天后，来到曹州，快到门口时，桑姥姥下了车，叫车夫在路上等着，自己乘黑夜进了院子。过了很久，才同一个女子一块出来，上车就往回走。夜里就睡在车里，五更天再走。女郎计算她们归来的日子，叫大器身穿盛装去迎接。大约迎出五十里，才相遇。大器上车同她们一块回到家中，鼓乐齐奏，洞房花烛，拜堂成亲。从此兄弟俩都娶了个漂亮媳妇，家境也一天天富裕起来。
一天，几十个骑马的强盗突然闯进常生的家。常大用知道有了变故，带领全家登上楼顶。强盗进来，把楼围住。常大用俯下身子问：“我们可有仇？”回答说：“没仇！但有两件事相求：一是听说两位夫人的美貌是世上没有的，请让我们见一见；再有一件是我们五十八个人，每人向你们讨五百两银子。”说完，强盗们把柴草堆在楼下，摆出放火烧楼的架势来威胁。常大用只答应了给他们每人五百两银子，强盗不满意，要放火烧楼，家人吓得要命。女郎要同玉版下楼，常大用劝说她们，不听。二人穿着华丽的衣服下了楼，站在离地面只差三层的台阶上，对强盗说：“我姐妹都是仙女，暂时来到尘世间，还怕什么强盗！我就是赐给你们万两黄金，恐怕你们也不敢接受！”强盗们一齐仰拜，连声说：“不敢。”姐妹二人正想回楼上，一个强盗说：“这是欺骗我们！”女郎听了，返回身站住说：“你想干什么？趁早说出来，还不算晚！”强盗们你看我，我看你，没有一个说话的。姐妹俩从容地上楼去了。强盗们抬头看不见她俩了才一哄而散。
两年以后，姐妹俩各生了个儿子，这才自己透露说：“我家姓魏，母亲被封为曹国夫人。”常大用怀疑曹州没有姓魏的官宦家。而且如果是大户人家丢失了女儿，怎么能耽搁到现在也不闻不问呢？不敢追根问底，心里却很奇怪，就借口有事又去了曹州。进曹州境内察访，官宦世族根本没有姓魏的。于是，常大用仍旧借住在旧主人家。忽然看见墙壁上有赠曹国夫人的诗，他感到很奇怪，就向主人打听。主人笑了，请他去看看曹国夫人。到那儿一看，却是一棵牡丹，和房檐一样高。常大用问主人花名的由来，主人说这棵牡丹在曹州名列第一，所以同人开玩笑，封它为曹国夫人。常大用问它属什么品种，主人说：“葛巾紫。”常大用心中更惊奇，怀疑女郎是花妖。
回到家后，不敢质问，只是述说那首赠曹国夫人的诗，观察女郎的表情。女郎听了立刻皱起眉头，变了脸色，猛然走出房门，呼喊玉版把儿子抱来，对常大用说：“三年前，我感激你对我的思念，才嫁给你报答你！如今你既然猜疑我，怎么能够再在一起生活！”就和玉版举起孩子远远地抛出去，孩子落在地上一下子不见了。常大用吃惊地看着，两个女子也忽然不见了。常大用悔恨不已。
几天后，孩子落地的地方长出两棵牡丹，一夜间就长到一尺多高。当年就开了花，一棵紫的，一棵白的，花朵大得像盘子，比平常的葛巾、玉版花瓣更加繁茂细碎。几年后，枝繁叶茂，各长成一大片花丛。把花移栽到别的地方，又变成了别的品种，谁也叫不出名字。从此牡丹的繁荣茂盛，洛阳可算是天下无双了。