在斯德哥尔摩一条极为普通的街道上的一幢极为普通的房子里，住着一个极为普通的家庭。家里有普通的爸爸、妈妈和三位普通的孩子，十五岁的哥哥布赛、十四岁的姐姐碧丹和七岁的小家伙。小家伙是最小的孩子，他蓝眼睛、翘鼻子、脏耳朵。
整栋房子里只有一个人与众不同，他就是屋顶的烟囱旁边的卡尔松。
他是一位个子矮小、体形圆滚、自命不凡的先生，他能够飞，他一拧肚脐上的一个按钮，后背上一台小巧玲珑的螺旋桨就发动起来，螺旋桨旋转着，卡尔松就腾空而起了。
一天下午，小家伙和卡尔松相识了。这是百无聊赖的一天，小家伙非常霉气。虽然他常常备受宠爱，但是这天爸爸妈妈都责备了他。他伤心地望着窗外，耳边突然响起了轻轻的嗡嗡声。一位个子很小的小胖子慢慢地飞了进来。
他就是屋顶上的卡尔松。小家伙惊呆了，同时充满了好奇。
当卡尔松向小家伙通报了姓名后，就问到了小家伙的年龄。小家伙非常礼貌地回答，然后又问起了卡尔松，因为在他看起来，卡尔松应该是个叔叔了，但是却满脸孩子气。卡尔松得意地回答说：“我风华正茂。我英俊、绝顶聪明、不胖不瘦。”说着拿起了小家伙书架上的蒸汽机。
“我是世界上最好的蒸汽机手。”卡尔松说着就用旁边的工业酒精瓶发动了蒸汽机。蒸汽机果然开始“突……突……突”地工作了起来，小家伙非常佩服卡尔松。
但是，突然一个可怕的响声使蒸汽机消失了，而满屋子都是蒸汽机的碎片。卡尔松兴奋极了，毫不在乎地挥动着自己的小胖手说：“小事一桩。你会很快得到一个新蒸汽机。屋顶上我的屋子里，有几千台蒸汽机！”
当卡尔松要走的时候，小家伙是多么希望他能够天天来陪伴他啊！
但是爸爸妈妈可不肯轻易相信什么住在屋顶上的卡尔松。
“你要对自己的行为负责，小家伙，”爸爸说，“不能把责任推到根本不存在的名为卡尔松的这类人身上。”
小家伙多么想念卡尔松啊，卡尔松开朗、乐观，遇到不幸时打打响指，并说小事一桩，用不着在意。小家伙真有点儿想他。
第二天，当小家伙趴在自己房间的地板上读书时，他又听到了那种嗡嗡的声音，卡尔松像一只大黄蜂一样从窗子飞进来。小家伙决定带卡尔松问候一下妈妈和爸爸。
这时候，妈妈在厨房里炸肉丸子的香味儿飘了进来，卡尔松静静地站着，像猎犬一样用鼻子闻味儿。小家伙立即到厨房给卡尔松弄来了一些焦黄、酥脆的小肉丸子。小家伙双手小心翼翼地端着盘子，回到自己的房间。
卡尔松同意小家伙的意见，让妈妈爸爸看看这位英俊、聪明的卡尔松。小家伙让卡尔松先玩着积木，就去喊爸爸妈妈了，他告诉爸爸妈妈说，楼顶的卡尔松在自己的房间。
吃完了饭，伟大的时刻终于到了。但是，当爸爸妈妈被小家伙拉到房间里时，卡尔松已经不见了。积木被堆成了一座又高又窄的塔。在塔尖上还装饰了一个圆形的小肉丸子。
当然啦，大家都开始嘲笑小家伙，认定了卡尔松只是他幻想中的人物而已。小家伙可真的气坏了。
晚上，爸爸妈妈要去看电影，布赛有一场球赛，碧丹则要邀请新男朋友佩勒来家里约会。小家伙心情非常糟糕，不仅因为孤独，还因为卡尔松的不辞而别。更让人讨厌的是，碧丹要求小家伙晚上不要在起居室露面。
小家伙只好坐到自己房间去了。这时候空中传来了螺旋桨声，转眼之间卡尔松就从窗子飞了进来。
对于自己的不辞而别，卡尔松总是有一大堆的理由，他叉着腰，好像生气了：“我连回去看一看我的房子都不行吗？你妈妈、爸爸偏在我去看房子的时候来看我，那我有什么办法呢？”
小家伙结结巴巴，但是他还是喜欢他。他拿出了手电筒让卡尔松看。当小家伙告诉卡尔松，现在只有碧丹和她的新男友在家，而自己不能去起居室时，卡尔松大声叫道：“这太不公平了！我们找点乐子吧！”说着，他从小家伙的床上拉下一条毯子盖在头上，毯子像一个帐篷。同时，卡尔松又亮起了手电筒。帐篷开始朝门走去，走到了大厅，与起居室只隔一条厚厚的门帘。起居室里的灯灭了，碧丹和她的佩勒在说悄悄话。
一个声音说：“我爱你，碧丹！你呢？”小帐篷已经渐渐移动到了沙发附近。佩勒还没有得到回答，手电筒的亮光划破了室内的黑暗，径直照在他们脸上。
他们一起跳了起来。小家伙笑得前仰后合：“她当然爱你，”他一边朝大厅跑一边喊着，“她为什么不呢！碧丹喜欢所有的小伙子，没错！”卡尔松一阵怪笑。他们慌慌张张地躲进了小家伙的房门。卡尔松急忙拧钥匙锁上门，然后站在那里满意地怪笑，而碧丹在外面用力敲门。
美丽的夜晚，小家伙给妈妈留了一个条：我在屋顶卡尔松那里。就拉着卡尔松的手飞了起来。卡尔松还是意犹未尽，仍然想找乐子。他们沿着屋脊往前走，走到了一间阁楼里面，那里有一个还没长牙的孩子，他在不停地哭。小家伙喂饱了孩子，哄他睡着了。卡尔松却决定来个恶作剧，以便警告孩子的父母不要随便留孩子一个人在家。他走到厨房，取出凉香肠片，塞到熟睡的孩子手里。
小家伙睁大眼睛看着他。也许父母真的不敢再把一个自己能走路和取香肠的小孩单独留在家里了。这时候外边楼梯上有人来了，两个人赶紧跑向窗子，爬到窗台上去了。
钥匙在开锁，一个声音这样说：“妈妈的小苏姗，她总是睡呀，睡呀。”但是随后就听到有人惊叫了起来。小家伙知道那两个妈妈和爸爸已经看到了香肠。
休息了一会儿，卡尔松说：“我们去捉弄两个亭子间里的坏蛋吧！”小家伙就拉着卡尔松的手飞到了坏蛋的亭子间。
里面有说有笑，原来坏蛋有客人了，还有一位个子很小、和蔼可亲，系红领带的男人，看样子从农村来。
卡尔松小声说：“我相信那两个坏蛋自己正在捣鬼，不过他们休想得逞！”
他们围在一张小桌子周围又吃又喝，两个坏蛋亲热地拍着系红领带的人的肩膀说：“我和鲁勒见到你不知有多高兴，亲爱的奥斯卡尔！”