由于食物短缺,为了缓减人口压力,日本在占领期间执行归乡政策,软硬兼施强迫大量市民归乡,市民被迫驱逐至广东。1942年1月,由占领地政府民治部成立的“归乡指导委员会”,每月均安排火车和轮船将市民强迫离港,但这些交通工具只将人送出境,离境后回乡的路途就要各人自理,更多人付担不起路费,只能徒步回乡。当时香港既已沦陷,市面粮食不足,生活艰难,因此很多港人选择离港回乡。同年12月,已有60万名市民离港,其中不少家庭于途上分散,或被迫抛弃幼儿、老人,或途中饿死、病死,至于途中被洗劫一空者更不计其数。而于后期,宪兵队更在街头随意捉人强行押解离境。结果在1945年,香港的人口由1941年的161万人跌至60万人。战后发现马鞍山乌溪沙、墨鱼洲均为万人坟。