在20岁时再度来到上海，在友人的扶助下，他考入法国天主教会主办的震旦大学（现上海复旦大学法文系），为日后的赴法留学打下了一定的法语基础。
其间认识了着名的油画家周湘、岭南画派的代表人物高奇峰、高剑父，在画作上得到了他们的赞许和指点，增强了绘画创作的信心。
他还结识了维新派领袖康有为，在其影响下确立了自己的创作思路。在康氏“鄙薄四王，推崇宋法”的艺术观念影响下，他对只重笔墨不求新意的“四王”加以贬薄，认为只有唐代吴道子、阎立本、李思训，五代黄筌，北宋李成、范宽等人的写实绘画才具精深之妙。
在康有为的支持下，他观摩各种名碑古拓，潜心临摹《经石峪》、《爨龙颜碑》、《张猛龙碑》、《石门铭》等，深得北碑真髓，书法得以长进。
后获得赴日本樱京研究美术的资助，在日本，徐悲鸿饱览了公私收藏的大量珍品佳作，深切地感受到画家能够会心于造物，在创作上写实求真，但在创作上缺少华夏文人画的笔情墨韵，无蕴藉朴茂之风。
徐悲鸿从归国后受聘为北京大学“画法研究会”导师。
在京期间，相继结识了蔡元培、陈师曾、梅兰芳及鲁迅等各界名人，深受新文化运动思潮的影响，树立了民主与科学的思想。
徐悲鸿在北洋政府的资助下，24岁的徐悲鸿到法国学习绘画。抵欧之初，他参观了英国的大英博物馆、国家画廊、皇家学院的展览会以及法国的卢佛宫美术馆，目睹了大量文艺复兴时期以来的优秀作品。
徐悲鸿感到自己过去所作的华夏画是“体物不精而手放佚，动不中绳，如无缰之马难以控制。”于是，他刻苦钻研画学，并考入巴黎美术学校，受教于弗拉芒格先生，开始接受正规的西方绘画教育。
弗拉芒格擅长于历史题材的人物画，其画作不尚细节的刻画而注重色彩的和谐搭配与互衬，对徐悲鸿日后油画风格的形成有着巨大的影响。
徐悲鸿每日乐此不疲地进行西洋画的基本功训练，上午在巴黎美术学校学习，下午去叙里昂研究所画模特儿，有时还抽空去观摩各种展览会。
此期间他有幸结识了着名画家柯罗的弟子艺术大师达仰，每星期日携画到达仰画室求教。达仰“勿慕时尚，毋甘小就”及注重默画的艺术思想对他影响较大，使得他没有追随当时法国日渐兴盛的现代派画风，而是踏踏实实地钻研欧洲文艺复兴以来的学院派艺术，在继承古典艺术严谨的造型特点的同时，掌握了娴熟的绘画技巧。
留学4年之后，徐悲鸿的绘画水平已达到可与欧洲同时期的艺术家相媲美的地步，其油画作品《老妇》入选法国国家美术展览会。
由于北洋政府一度中断学费，徐悲鸿被迫转至消费水平较低的德国柏林。