鲁鲁坐在地上，悲凉地叫着。鲁鲁的声音像一把锐利的刀，把这温暖、平滑的春夜剪碎了。鲁鲁原是一位孤身犹太老人的狗。老人住在村上不远，前天死去了，后事很快办理完毕。只是这矮脚的白狗守住了房子悲哭，不肯离去。房东灵机一动说：“送给范先生养吧。这洋狗只合下江人养。”这小村中习惯地把外省人一律称作下江人。于是它给硬拉到范家，拴在这棵树上，已经三天了。
姐姐还引鲁鲁去见爸爸。她要鲁鲁坐起来，把两只前脚伸在空中拜一拜。“作揖，作揖！”弟弟叫。鲁鲁的情绪尚未恢复到可以玩耍，但它照做了。“它懂中国话！”姐弟俩人都很高兴。鲁鲁放下前脚，又主动和爸爸握手。
过了十多天，大家认为鲁鲁可以出门了。它总是出去一会儿就回来，大家都很放心。有一天，鲁鲁出了门，踌躇了一下，忽然往犹太老人原来的住处走。那里锁着门，它便坐在门口嗥叫起来。
鲁鲁在门口蹲了两天两夜。
它得到的谜底是再也见不到老人了。从此鲁鲁正式成为这个家的一员了。
这山村下面的大路是附近几个村赶集的地方，七天两头赶，每次都十分热闹。鸡鱼肉蛋，盆盆罐罐，还有鸟儿猫儿，都有卖的。姐姐来买松毛，那是引火用的，一辫辫编起来的松针，买完了便拉着弟弟的手快走。走着走着，发现鲁鲁不见了。“鲁鲁。”姐姐小声叫。这时听见卖肉的一带许多人又笑又嚷：“白狗耍把戏！来！翻个筋斗！会吧？”他们连忙挤过去，见鲁鲁正坐着作揖，要肉吃。
卖肉人认得姐姐弟弟，笑着说：“这洋狗到范先生家了。”说着顺手割下一块肉，往姐姐篮里塞。村民都很同情这些穷酸教书先生，听说一个个学问不小，可养条狗都没本事。
姐姐怎么也不肯要，拉着弟弟就走。这时鲁鲁从旁猛地一蹿，叼住那块肉，撒开四条短腿，跑了。
“鲁鲁！”姐姐提着装满松毛的大篮子，上气不接下气地追，弟弟也跟着跑。人们一阵哄笑，那是善意的、好玩的哄笑，但听起来并不舒服。等他们跑到家，鲁鲁正把肉摆在面前，坐定了看着。它讨好地迎着姐姐，一脸奉承，分明是要姐姐批准它吃那块肉。姐姐扔了篮子，双手捂着脸，哭了。
弟弟着急地给她递手绢，又跺脚训斥鲁鲁：“你要吃肉，你走吧！上山里去，上别人家去！”鲁鲁也着急地绕着姐姐转，伸出前脚轻轻挠她，用头蹭她，对那块肉没有再看一眼。
姐姐把肉埋在院中树下。后来妈妈还了肉钱，也没有责备鲁鲁。因为事情过去了，责备它是没有用的。鲁鲁却竟渐渐习惯少肉的生活。爸爸说：“原来箪食瓢饮，狗也是能做到的。”
村边小溪静静地流，不知大江大河里怎样掀着巨浪。终于有一天，日本投降的消息传到这小村，整个小村沸腾了，赛过任何一次赶集。人们以为熬出头了。爸爸把妈妈一下子紧紧抱住，使得另外三个成员都很惊讶。爸爸流着眼泪说：“你辛苦了，你太辛苦了！”妈妈呜呜地哭起来。爸爸又把姐姐弟弟也揽了过来，四人抱在一起。鲁鲁连忙也把头往缝隙里贴。这个经历了无数风雨艰辛的亲爱的小家庭，怎么能少得了鲁鲁呢？“回北平去！”弟弟得意地说。姐姐蹲下去抱住鲁鲁的头。
上路第二天，姐姐就病了。爸爸说她无福消受这一段风景。她在车上躺着，到旅店也躺着。鲁鲁的不安超过了她任何一次病时。它一刻不离地挤在她脚前，眼光惊恐而凄凉。这使妈妈觉得不吉利，很不高兴。“我们的孩子不至于怎样。你不用担心，鲁鲁。”她把它赶出房门，它就守在门口。弟弟很同情它，向它详细说明情况，说回到北平可以治好姐姐的病，说交通不便，不能带鲁鲁去，自己和姐姐都很伤心；还说唐伯伯是最好的人，一定会和鲁鲁要好。鲁鲁不懂这么多话，但是安静地听着，不时舔舐弟弟的手。
T市附近，有一个著名的大瀑布，十里外便听得水声隆隆。车经这里，人们都下车到观瀑亭上去看。姐姐发着烧，还执意要下车。于是爸爸在左，妈妈在右，鲁鲁在前，弟弟在后，向亭上走去。急遽的水流从几十丈的绝壁跌落下来，在青山翠峦中形成一个小湖，水气迷蒙，一直飘到观瀑亭上。姐姐觉得那白花花的厚重的半透明的水幔和雷鸣般的轰响仿佛离她很远。她努力想走近些看，但它们越来越远，她什么也看不见了，倚在爸爸肩上晕了过去。
从此鲁鲁再也没有看见姐姐。没有几天，它就显得憔悴，白毛失去了光泽。唐家的狗饭一律有牛肉，它却嗅嗅便走开，不管弟弟怎样哄劝。
范家人走时，唐伯伯叫人把鲁鲁关在花园里。他们到医院接了姐姐，一直上了飞机。姐姐和弟弟因为不能再见鲁鲁，一起哭了一场。他们听不见鲁鲁在花园里发出的撕裂了的、变了声的嗥叫，他们看不见鲁鲁因为一次又一次想挣脱绳索，磨掉了毛的脖子。他们飞得高高的，遗落了儿时的伙伴。
鲁鲁发疯似的寻找主人，时间持续得这样久，以致唐伯伯以为它真要疯了。唐伯伯总是试着和它握手，同情地、客气地说：“请你住在我家，这不是已经说好了吗，鲁鲁？”
鲁鲁终于渐渐平静下来。有一天，又不见了。过了半年，大家以为它早已离开这世界，它竟又回到唐家。它瘦多了，完全变成一只灰狗，身上好几处没有了毛，露出粉红的皮肤；颈上的皮项圈不见了，替代物是原来那一省的狗牌。可见它曾回去，又一次去寻找谜底。若是鲁鲁会写字，大概会写出它怎样戴露披霜，跋山涉水；怎样被打被拴，而每一次都能逃走，继续它千里迢迢的旅程；怎样重见到小山上的古庙，却寻不到原住在那里的主人。也许它什么也写不出，因为它并不注意外界的凄楚，它只是要去解开内心的一个谜。
唐家人久闻鲁鲁的事迹，却不知它有观赏瀑布的癖好。它常常跑出城去，坐在大瀑布前，久久地望着那跌宕跳荡、白帐幔似的落水，发出悲凉的、撞人心弦的哀号。