现代大学在中国只有100多年的历史。当初的大学，主要有国立、教会、私立三种形式。办大学需要大量资金，而学校又不能以赢利为目的，因此私立大学要比国立大学、教会大学难办得多。在这方面，张伯苓创办的私立南开大学是中国教育史上的一个奇迹。司徒雷登曾给张伯苓一个恰如其分的评价：“创办私立大学，张伯苓是一个拓荒者。”
从“严氏家馆”到南开大学
为了教育自己的后代，清末名流严修在家中办了个教馆，即严氏家馆，请张伯苓前来任教。张应聘后，不是灌输四书五经，而是讲授英文、数学和自然科学等教程，并开展体育活动。
1902年，他与严修去日本考察教育，回国后决定把严氏家馆改为中学。在张伯苓主持下，学校于1907年迁入新址，并改名为“私立南开中学堂”。1918年，张伯苓制订创办大学计划。次年9月，南开大学正式成立，成为中国第一所正规的私立大学。
经费的来源与使用
早在北洋军阀统治时期，大学欠薪现象就非常普遍。在这种情况下，身无分文的张伯苓怎么敢办一所私立大学呢？也就是说，他的办学经费从哪里来呢？
从现有资料看，张伯苓的办学经费首先来自个人捐款，其次来自基金会赞助，最后才是政府补助。他曾经对学生说：“你们大家缴付的学费，和我在外边捐来的款项，都不在少数，可是未有一文入了私囊。我虽然有时向人求见、捐款，被其挡驾，有辱于脸面，但我不是乞丐，乃为兴学而作，并不觉难堪。”
教师的延聘与培养
除办学经费之外，师资也是非常重要的办学因素。
为了延聘优秀教师，张伯苓让出身于南开的美国哥伦比亚大学教育学博士凌冰担任大学部主任。在凌冰主持下，先后来南开任教的有梅光迪（文学）、竺可桢（气象）、邱宗岳（化学）、应尚德（生物）、蒋廷黻（历史）、吴大猷（物理学）、何廉（经济学）、汤用彤（哲学）等人。大学者，有大师之谓也。从这个名单中可以看出南开大学的实力。
著名物理学家吴大猷说，上述许多人就是在南开成长起来的，南开大学不仅培养出一大批优秀学生，也造就了许多学术大师，这是它对中国教育的一大贡献，却被许多人忽略了。
办学五十年美名传天下
1938年4月西南联大成立后，张伯苓与北大校长蒋梦麟、清华校长梅贻琦担任校务委员会常委，共同负责学校工作。不过，自从当年7月张伯苓出任国民党参政会副议长之后，他的主要精力就放在了国民参政会方面。
尽管如此，他还是身在江湖，不忘教育。1943年4月5日是他68岁寿辰，他还立下这样的誓言：“为国家，为南开，当再努力12年，至80岁再退休。”
这时的张伯苓，已经是誉满中外的教育家了。1942年10月，美国总统罗斯福派代表威尔基来中国访问，专门参观了重庆南开中学。他回国后撰写《天下一家》，高度评价了张伯苓的办学成就。1946年，张伯苓赴美国治病，被哥伦比亚大学授予名誉博士学位。
遭遇打击晚景凄凉
1948年3月，张伯苓回到阔别多年的南开大学，正当他全力以赴重建南开的时候，蒋介石邀请他出任国民党政府考试院院长。大概是由于时局和身体的双重原因，他在南京呆了不到半年，就飞往重庆养病。1950年5月，张伯苓从重庆返回天津时路过北京，在老朋友傅作义家逗留好几个月。“之所以如此，是周恩来考虑到张伯苓即时返津，可能会遭到激进学生的斗争。”事实果然如此，当张伯苓同年9月中旬返回南开时，南开大学的一些激进师生对他并不欢迎。张伯苓对于大家的态度似乎不大甘心，他提出想到校园里暂住一段时间，想见见自己的学生，但有关方面没有任何反应。
如果说这些遭遇对于“愈挫愈奋”的张伯苓还可以忍受的话，那么下面的情况对于这位古稀老人来说，则是致命的一击。这年10月7日是南开46周年校庆，张伯苓很早做好了参加校庆活动的准备，但是到了那一天，“南开中学不允许他进入，而南开大学也只安排他在相关活动中坐一般座席。自此，他变得沉默孤独，常常呆坐在居室，以手击头，精神颓丧，自感平生工作全被否定……”
经过一个凄凉而漫长的冬天，1951年2月23日，张伯苓与世长辞，享年75岁。他立下的“为国家，为南开，当再努力12年，至80再退休”的誓言，也未能完全实现。