元分天下民众为四类,依次为蒙古、色目、汉人、南人,黄公望沦为“四等公民”。经历国破家亡,南宋遗民在鄙视和屈辱中以求生存,如南宋遗民龚开在《瘦马图》卷中表现了亡国后的失落感,与他有同感的元初文人们纷纷跟进解读,在图后书写跋文,江南文人们的这种心境一直持续了近半个世纪。
黄公望年轻时做过地方小官,先是任书吏,后来,大约是45岁左右时,在一个叫做张闾的官僚手下做过椽吏,后因张闾犯了官司,黄公望遭诬陷,蒙冤入狱。出狱后,不再问政事,遂放浪形骸,游走于江湖。一度曾以卖卜为生。后参加了主张儒、释、道三教合一的全真教,更加看破红尘。由于长期浪迹山川,开始对江河山川发生了兴趣。为了领略山川的情韵,他居常熟虞山时,经常观察虞山的朝暮变幻的奇丽景色,得之于心,运之于笔。他的一些山水画素材,就来自于这些山林胜处。他居松江时,观察山水更是到了如痴如醉的地步,有时终日在山中静坐,废寝忘食。在他居富春江时,身上总是带着皮囊,内置画具,每见山中胜景,必取具展纸,摹写下来。富春江北有大岭山,公望晚年曾隐居于此,他以大岭山为师,曾画有《富春大岭图》。
《富春山居图》从构思、动笔到绘制完成大约用了七年时间。为了画好这幅画,他终日不辞辛劳,奔波于富春江两岸,观察烟云变幻之奇,领略江山钓滩之胜,并身带纸笔,遇到好景,随时写生,富春江边的许多山村都留下他的足迹。深入的观察,真切的体验,丰富的素材,使《富春山居图》的创作有了扎实的生活基础,加上他晚年那炉火纯青的笔墨技法,因此落笔从容。