1920年，祖父母為了逃離「同姓不婚」的風俗，遠從奄美大島渡海來台，在高雄生下了是枝裕和的父親。父親讀過嘉義小學校、台南中學校（南二中）及嘉義農校，畢業後，去中國旅順工科大學研究室當化學職員，不久被徵召入伍，在滿州國戰敗，遭強迫去西伯利亞勞改3年後，才第一次回到日本。戰後混亂期，吃了不少苦頭，經濟翻不了身，又不能回到故鄉（台灣），心情苦悶，只好沉溺酒精及賭博。
「當時，全家面對不肯好好工作的父親都很冷淡。母親一直到死前還說：『認識他是我最大的失敗！』她講得很認真，我倒希望她顧慮一下兒子我的心情，她總是說：『真的太失敗了！』她非常愛她哥哥，用現代的話來說就是『戀兄情結』吧，她每次去哥哥家，雀躍的神情簡直像是去見情人，我身為兒子覺得丟臉，也很嘔她為何從沒用那種表情面對我父親。他們倆都過世了，講這些應該沒關係。她就是這種母親，對自己非常誠實。」
