第二次世界大战结束后，美国报纸对二战名将巴顿推崇备至，尊其为“军神”。但让巴顿引以为豪的却不是他血战沙场的骄人战绩，他在很多场合都宣称：“参加第5届奥运会才是我一生的骄傲。”
1912年，第5届奥运会在瑞典首都斯德哥尔摩举行，时任陆军上尉的巴顿自费参加了现代五项比赛项目，获得游泳第7名、击剑第4名、马术第6名、跑步第3名、总成绩第5名的好成绩，是个不折不扣的奥运体育明星。
1909年，德国柏林宣布放弃1912年奥运会的主办权后，瑞典将军维克多·古斯塔夫·巴尔克抓住机会，将奥运会带到了瑞典首都斯德哥尔摩，并由他本人担任组委会主席。在1912年斯德哥尔摩奥运会上，由射击、游泳、击剑、马术和越野跑5个项目组成的现代五项，经现代奥运会创始人顾拜旦大力倡导首次进入奥运赛场。这是一个军事训练综合项目，能培养军人勇敢顽强的品质，因此参赛者多为军人。当时还是上尉的巴顿从旁人那里得知消息后，便决定自费去瑞典参加比赛，自视为现代武士的巴顿认为这是挑战体能和毅力的绝好机会。有43名勇士参加了这场引人注目的比赛，其中有包括巴顿在内的3名美军正规军军官。这场比赛中，前4名都被瑞典选手夺走，瑞典军人利勒赫克上尉获得冠军，27岁的巴顿夺得第5名，第6名也是瑞典军人。
当时，巴顿游完300米时，是被人用船钩从池子里捞上来的，因为他已经没有任何力气了。跑4000米越野赛时，巴顿在离终点线50米的地方不幸撞墙，挣扎着走过终点之后，便精疲力竭昏倒在地。尽管如此，他仍然取得了该项的第3名。
在这次现代五项的射击比赛中，巴顿一共打出169环（两次脱靶），排名第21位。巴顿和裁判就两发子弹的环数起了争议。巴顿用的手枪口径过大，因此造成标靶上的子弹洞口过大。当连续出现两次脱靶的情况后，巴顿向裁判解释是后一发子弹从前一发子弹留在靶心的洞口中穿出，但裁判仍然坚持巴顿脱靶。对此，巴顿表现得相当大度，他说：“参赛的每一个人都表现出了真正的军人气魄，我们都把彼此看作是好朋友、好战友，而不是竞争对手。这种友谊绝不会被对胜利的渴望所取代。”
如果确实是裁判误判了其射击环数，巴顿在第5届奥运会的成绩还会靠前。
正是由于他在奥运赛场上不错的表现，打动了当时的另一位美国将军潘兴，在他眼里，一个标准的军官首先应该是一个标准的斗士。而参加过奥运会军事全能比赛的乔治·巴顿无疑具备他所要求的品质。巴顿被他招入侵略墨西哥的部队，迈出了在军界发展的重要一步。
巴顿酷爱体育，对很多体育项目感兴趣，对冒险性项目更是情有独钟。早在西点军校读书时，他就是学校跨栏赛纪录的创造者，在田径运动项目上打破了学校纪录，同时还是最优秀的击剑运动员和步枪、手枪射手，达到了A级运动员的标准。后来成为叱咤风云的将军后，他还在美国各地举办的马术比赛中获得了400枚奖牌和200个奖杯。
长期的体育锻炼使巴顿一直保持着旺盛的精力，对他的军事生涯很有帮助。在二战强渡莱茵河的战役中，巴顿率领装甲集群5天推进了200多公里。他手下的一名军长和军械处长因为劳累都病倒了，而年近花甲的巴顿依然神采奕奕，保持着很好的精神状态。