大历三年(768年),杜甫思乡心切,乘舟出峡,先到江陵,又转公安,年底又漂泊到湖南岳阳,这一段时间杜甫一直住在船上。由于生活困难,不但不能北归,还被迫更往南行。大历四年正月,由岳阳到潭州(长沙),又由潭州到衡州(衡阳),复折回潭州。
大历五年(770年),臧玠在潭州作乱,杜甫又逃往衡州,原打算再往郴州投靠舅父崔湋,但行到耒阳,遇江水暴涨,只得停泊方田驿,五天没吃到东西,幸亏县令聂某派人送来酒肉而得救。后来杜甫由耒阳到郴州,需逆流而上二百多里,这时洪水又未退,杜甫原一心要北归,这时便改变计划,顺流而下,折回潭州。大历五年(770年)冬,杜甫在由潭州往岳阳的一条小船上去世。时年五十九岁。