历史上的纪晓岚远没有电视剧上演的那般洒脱自如，当时他不但得了个“娼优大学士”的外号，其本人的很多事迹也经常被人引为笑谈。
乾隆时期，北京达官贵人们都嗜好淡巴菰（烟草），乾隆尤其如此，而且烟瘾很大，一天都离不开。后来乾隆突然无故咳嗽，太医诊治后说：“病源在肺，恐怕是吸食淡巴菰所致。”乾隆听后便命太监以后不准再拿这个东西进来，过了一段时间后，他的咳嗽病就好了。乾隆于是对淡巴菰极为厌恶，并劝告其臣僚也不要嗜好此物。
烟草其实是轻微的毒品，一旦吸食就很难戒除。纪晓岚当时为翰林大学士，烟瘾最大，人称“纪大烟袋”。他并不理会乾隆的劝告，每日仍旧拿个特大烟袋，里面贮满烟丝，张口就吸，毫不顾忌别人的感受。
有一天，轮到纪大烟袋在馆中当值，他工作忙完，便把烟点上，刚美美地吸上两口，突然间太监宣他觐见皇上，纪大烟袋一着急，便把烟袋插入靴筒，随后入朝觐见。不巧这次乾隆问的事情多，没多久，纪大烟袋便觉得脚上发热发烫，但正被皇上问话，所以不敢乱动。不料，他的靴子突然冒烟，原来烟袋的火没有熄灭，结果把袜子给烧着了。纪大烟袋痛得要命，眼泪鼻涕直流。乾隆大惊，问他怎么回事，纪大烟袋说：“臣靴筒里走水。”（当时北方人把失火叫走水。）
乾隆大笑，让他立刻出去解决。纪晓岚忍着痛，疾步跑到门外，把靴子一脱，里面早已是皮焦肉烂，好不凄惨！让人发笑的是，纪晓岚平时走路特快，同僚们戏称他为“神行太保”，这次被烧了以后，纪晓岚一个多月里走路都一瘸一拐的，人又送绰号“李铁拐”。
据说，后来乾隆过问此事，让他为这事写检讨。纪晓岚文才好，援笔立就，里面有这么几句：“裤焚，帝退朝曰：‘伤胫乎？不问斗。’”这个马屁拍得很到位，乾隆心头一喜，便赐给他烟斗一枚，准其在馆吸食，纪晓岚也得意地说自己是“钦赐翰林院吃烟”云云。
不过，乾隆也没少戏弄纪晓岚。乾隆有一次南巡来到金山寺，纪晓岚也随同在侧。乾隆一时兴起，想给金山寺题一个匾，但想了半天也没想出什么好名字，于是就取笔在纸上假装写了几个字，递给纪晓岚问：“你看这几个字如何？”纪晓岚拿过来一看，是无字天书，幸好他随机应变得快，便说：“好一个‘江天一览’！”乾隆大悦，便重新拿起笔题了这四个字。（此是“江天一览”故事的另一版本）
还有一次，纪晓岚奉命在翰林院编纂《四库全书》，因为工程浩大，纪晓岚和同事们便日夜赶工，时值盛夏，天气酷热，纪晓岚身体肥胖又怕热，往往汗流浃背，衣服尽湿。后来纪晓岚干脆把衣服除去纳凉，同事的阁臣们也学他的样子，脱了衣服在里面工作。
乾隆知道此事后，便想去捉弄他一下。某天，乾隆有意走到翰林院，正好纪晓岚和同事阁臣数人光着膀子在那里谈笑风生，大家见乾隆走了过来，慌忙穿衣不迭，纪晓岚因为眼睛近视，一时间找不到自己的衣服，穿衣不及，慌忙中钻到了椅子下面。
乾隆见了大乐，便一屁股坐在上面，纪晓岚躲在下面喘息而又不敢动。乾隆在椅子上面坐了两个时辰不说话，也不走。因为天气酷热，纪晓岚忍耐不住，见过了那么长的时间，便伸头问同事们：“老头子走了没有啊？”
乾隆大笑，诸人也笑，乾隆让纪晓岚出来，故作不悦地说：“纪昀无礼，何得出此轻薄之语？你要解释得过去就放过你，要说不过去就杀你的头。”纪晓岚大为尴尬，说：“臣尚未穿衣。”乾隆便命内监代他穿上，又训斥道：“你胆子不小，你为什么称朕为老头子啊？”纪晓岚眼睛一转，说：“京城中人都是这么称呼皇上的啊，皇上叫‘万岁’,岂非‘老’乎？君是‘元首’,得非‘头’乎？皇上为天之子而子万民,所以叫‘子’啊。”乾隆见难他不住,便呵呵一笑走了。
纪晓岚被乾隆捉弄,找到机会他也要捉弄捉弄和珅。有一次,和珅家修花园,建了个亭子,请纪晓岚帮他写个亭额,纪晓岚挥笔而就,写下“竹苞”两个大字,和坤见两字写得龙飞凤舞,十分开心地把它给挂了起来。没多久,乾隆临幸和府参观新花园,抬头看见亭上的匾额,便问是谁写的,和珅得意地说是请纪晓岚写的,乾隆大笑,说：“你上了他的当了！纪晓岚这是在骂你家‘个个草包’啊！”和珅气得半死,又无可奈何。
纪晓岚读书多又天性诙谐,平时也爱讲笑话故事,每次入宫当值没事的时候,太监就喜欢缠着他讲故事,纪晓岚不胜其烦。有一次,纪晓岚又被某太监缠上,让他讲个故事,纪晓岚说最近没故事,那太监非得让他说一个,现在编也行。
纪晓岚便做思索状,说：“有了。说有一个人。”说完,便闭嘴盯着太监看。太监见他不说了,便催促道：“这个人下边还有何事？”纪晓岚说：“下边没有了。”太监知道被其揶揄,大笑而去。
纪晓岚有一次为某词林朋友的太夫人祝寿,朋友请他作首诗,纪晓岚站起来,清了清嗓子,众人都做洗耳恭听状,纪晓岚便道：“这个婆娘不是人。”众人大惊,以为大不敬。纪晓岚见效果达到,便从容续道：“九天神女下凡尘。”众人一听,赞这句说得好。纪晓岚话锋一转,又道：“生下儿子去做贼。”众人愕然,朋友也很是难堪。不料纪晓岚笑道：“此子却好,偷得蟠桃寿母亲。”众人听后大乐,一时传为佳话。
纪晓岚是个聪明人,但他的聪明在当时往往被人视为可笑,这大概就是乾隆视纪晓岚为“娼优”的缘故罢。