对我们多数人来说，司马光这个名字是和砸缸联系在一起的。此外我们所知道的就是他那部巨著《资治通鉴》。其实真正让司马光在历史上赢得巨大声望的还是他一生的磊落和廉洁。
司马光的父亲司马池就为官清廉，勤政爱民，生活十分朴素。他家一贯粗茶淡饭，绝不奢华。即使招待上等官员，也只是用当地的山果、土产的蔬菜，而且也只限于三五道菜。父亲的俭朴影响了司马光的一生。
司马光为官50多年，历仕宋四朝，还做过宰相，按理说他应该很富有，其实并不是这样。他有一位老友刘蒙从河北到了当时的京城开封，以父母无钱安葬，弟妹嫂侄需要抚恤为由，开口就向司马光要万钱。对此司马光回信一封：“我司马光一贯小心谨慎，简朴为官，一分一毫也不敢妄取于人，食不敢常有肉，衣不敢纯衣帛，视地而后敢行，顿足然后敢立，连亲属故旧都拿不出钱来帮助，哪来的钱给您啊！”
司马光做官几十年，只在洛阳有田三顷。司马光的老伴儿张氏伴随他46年，妻子死后，家里没钱办丧事，儿子司马康和亲戚主张借些钱，把丧事办得排场一点，司马光不同意，并且教训儿子处世立身应以节俭为可贵，不能动不动就借贷。最后，他还是把自己这块地典当出去，才草草办了丧事。他的品德，就连他的政敌王安石也很佩服，愿意与他为邻。
司马光曾给儿子写信说：“我们家本来就是清寒的，清白的家风代代相传。至于我本人，从来不喜欢豪华奢侈。小时候，大人给一件华美的服装，就不愿意穿；考中进士后，别人戴花，自己也不愿意戴；只是出于对皇上的尊崇，才不得不勉强插戴一枝。我认为，平时穿的能够御寒、吃的能够饱腹，也就行了。但是，许多人却嘲笑我寒酸。对此，我从未后悔过。古代的人都把俭约视为美德，现在的人竟看俭约为羞耻，真是咄咄怪事！”
司马光年老体衰时，他的一位朋友准备花50万钱为他买位婢女，以便伺候他。他当即谢绝，说：“我几十年来，食不敢常有肉，穿不敢有纯帛，怎敢拿50万钱买一婢女？”
随着司马光职位的升迁，有不少人想通过他捞些个人好处。为避免此类“人情”，他在自家客厅内贴了一张告示。告示中写道：凡来者若发现我本人有什么过失，想给予批评和规劝，请用信件交给我的书童转我，我一定仔细阅读，认真反思，坚决改正；若为升官、发财、谋肥缺，或打算减轻罪名、处罚，请一律将状子交到衙门，我可以和朝廷及中书省众官员公议后告知；若属一般来访，请在晤谈中，休提以上事宜。
司马光在一篇文章中曾写道：“由俭入奢易，由奢入俭难。”司马光一生正是按此来要求自己的。