三月初三是黄粱梦吕祖庙大会，当初卢生一枕黄粱，传闻极广，所以庙会人也特别多。有个名叫吴礼的无赖也在这里闲逛，他一会抢人家一条鸡腿，一会偷人家一个苹果，知道他的人，见了他都远远地躲着他。
吴礼转来转去，忽然看见一个白发老人和一个青年书生在下棋，吴礼挤上前看了一会，发现这两个人的棋艺极差，于是就在一边骂骂咧咧地给这个支一招，给那个支一招。白发老人不高兴了对吴礼说：“你要下得好，咱俩来一盘？”吴礼轻蔑地说：“你这么一大把年纪了，就这两下子还要跟我下？”老人说：“我若输了，给你一千两，你输了呢？”吴礼想也不想：“随你处置。”吴礼想这一千两我拿定了，万一输了，我一走了之，你奈我何？吴礼十步之内就输了，正要拔腿开溜，被老人喝住：“输了为何就走？”吴礼理也不理，只见老人嘴里冒出一口白雾，青年书生将白雾点在了吴礼的头顶上。吴礼就像顶着千斤巨石，一下扑倒在地。
等吴礼慢慢醒来，人们发现他比原来矮了三分，“吴礼矮三分”。就在这个庙会上传开了。再说那一老一少，原来就是吕祖和卢生，吴礼倒楣今天耍无赖，耍到他们头上了。
传来传去，“吴礼矮三分”，传成了“无理矮三分”。意思是：若没有真理，人也会显得矮点。