在潘玉良习画的那个年代，政府是不允许人们画裸体的，甚至明令禁止用模特教学。
潘玉良苦于在人体写生上找不着感觉。有一天，她去浴室洗澡，突然眼前一亮，一大群光着身子的女人就这样成了她眼中的艺术素材。她躲在角落里，偷偷地画着。忽然传来一声尖叫，一个肥胖的女人发现了她。胖女人冲上去就要打，幸好有人在旁劝解说，“这是上海美专的学生”。趁着乱，潘玉良带着画作落荒而逃。
回到家，她突然想，“我自己不就是很好的模特吗？”于是，每当家里没人的时候，这个痴迷绘画的女人就对着镜子画自己的身体。
很多年以后，潘玉良被尊为“一代画魂”。但当她还叫张玉良的时候，她只是一个没有灵魂的女人。这位命运多舛的女画家幼时父母双亡，14岁被舅舅卖入青楼。后来，她被人赎身并纳为小妾，改名潘玉良，才“把脂粉化成油彩，重新涂抹了自己的生命”。
在丈夫潘赞化的鼓励下，潘玉良报考上海美专。据说考试成绩相当好，榜单上却没有她的名字。爱才心切的校长刘海粟顶着社会压力，提笔在榜上添上她的名字——就这样，潘玉良成为上海美专的第一个女学生。
等到要毕业的时候，潘玉良展出了她的所有习作，其中就有她在浴室里的人体素描和自画像。民国初年，女性画者限于社会环境等因素，往往要付出更多的牺牲，才能成就事业。何况，潘玉良始终背负着妓妾的身份。人们把她习画的历程当做艳闻传递。一名女同学甚至要求退学，“誓不与妓女同校”。校长刘海粟在敬佩之余，建议潘玉良去欧洲留学。因为他已经清醒地意识到，在当时的道德环境里，潘玉良的绘画才能会被扼杀掉。
在丈夫的支持下，潘玉良踏上了追寻艺术的苦旅。她与徐悲鸿一道，师从法国著名画家达仰·布佛莱习画，1926年她的作品在罗马国际艺术展览会上荣获金奖，打破了历史上没有中国人获得该奖的纪录。徐悲鸿对这位师妹评价甚高：“夫穷奇履险，以探询造物之至美，乃三百年来作画之士大夫所决不能者也……士大夫无得，而得于巾帼英雄潘玉良夫人。”有研究者指出，正是由于其与众不同的经历和性格，以及她本人不曾接受传统艺术启蒙，才使得潘玉良成为二十世纪前期最为突兀，也最具代表性的女性艺术家。
受导师刘海粟之聘，1929年，潘玉良回到上海美专任教，之后亦被南京中央大学艺术系聘为教授。后来还举办了“中国第一个女西画家画展”。其中最著名的一幅《人力壮士》，描绘的是一个肌肉发达的男子正努力地搬开一块巨岩，岩石下脆弱的小花才得以绽露笑脸。其时，日本人已经入侵东三省，这幅极具象征意味、表达中国人抗日决心的画作，被当时的一政府官员以1000块大洋的天价订购。
不料在收展时，有人蓄意破坏了潘玉良的所有作品，《人力壮士》那幅画也被写上“妓女对嫖客的颂歌”。潘玉良所面对的不仅是世俗的偏见。在上海美专，旧时的文人也当面嘲讽，“凤凰死光光，野鸡称霸王”。潘玉良一句话没有说，一记耳光就打上去了，自此便跟这个不能见容于她的社会彻底决裂了。
她又一次求学法国。随着后来国内的政治风云变幻和潘赞化的去世，再也不曾回国。她自称“三不女人”：不谈恋爱，不加入外国籍，不依附画廊拍卖作品。潘玉良客居海外40年，终日在卧室作画，靠友人接济度日。
临终前，潘玉良只委托友人将两件遗物送回国内，那是结婚时潘赞化送她的项链和怀表。
这段从妓妾到大学生，从大学教授到世界知名艺术家的传奇经历给后来的影视剧作家带来了诸多灵感，扮演过这位“一代画魂”形象的，前有巩俐，后有李嘉欣。然而据熟识潘玉良的人描述：“真实的潘玉良是一个又矮又胖、长着一个狮子鼻并且嘴唇很厚的丑女人。”潘玉良不但长相不符合通常所谓的“女性美”，做事、说话直来直去，她的嗓音也像男人，擅长唱京剧老生。