“中国”这个词语，是由日本平安时代的延喜式所选取采用的。当时日本仿照唐朝方法，将日本全国分为五畿七道共六十八国，除了按人口多少分为“大国”、“上国”、“中国”和“下国”四等级外，并以当时的首都京都为中心，依照驿站和京畿的远近，分类为“近国”、“中国”和“远国”。这种分类，于康保四年（西元967年）正式实行，在大约从10世纪开始普遍使用。当时除了畿内五国，其他七道内诸国也有分近国、中国和远国，特别将“中国地方”指为山阳山阴两道。
将山阳道和山阴道等地方合称为“中国”，最早有文献记载的应该是日本南北朝时代的《太平记》。书中记载足利直冬初时被委任为长门探题，后来也管治著山阳道的周防、安艺、备后、备中及山阴道的出云、伯耆、因幡等国，故后来被称为“中国探题”。所以相信，最迟在室町幕府之后，就以“中国”来统称以上诸国。
此外，在描写日本古代神话与天皇家系的《古事记》与《日本书纪》中，将出云国地区称作苇原中国，简称中津国、中国，也有可能是该词的语源之一。
古代日本的山阳道包括播磨、美作、备前、备中、备后（三备）、安艺、周防和长门，山阴道包括丹波、丹后、但马、因幡、伯耆、出云、石见、隐岐，共十六国。但中国并不包括整个山阳和山阴道，其中备前、美作、播磨、但马、丹后、丹波等地方（大约相当于现在的京都府和兵库县）并不算是中国。
中国于日本历史的中古时期，因战乱较少，而成为当时日本除了京都之外，对唐朝文化及艺术、模仿与发展，风气最盛的地区。
