冯·诺伊曼出生在布達佩斯富裕的猶太家庭,是诺依曼·米克萨(Neumann Miksa)和坎恩·玛吉特(Kann Margit)的3個孩子中最大的一個。他小時候外號“扬奇”("Jancsi",即"János"的昵称),当时已經顯出驚人的記憶力。他6歲时已能用古希腊语同父亲闲谈,還可以心算8位數除法,8岁时自学微积分。年少时的他不但對數學很有興趣,亦喜歡閱讀歷史和社會方面的書籍,读过的书籍和论文能很快一句不漏地将内容复述出来,而且多年以後仍是如此。1913年,他的父親马克斯·诺伊曼被授予世袭贵族头衔,这样在德国他的后代可以以“冯·诺伊曼”为姓[2],馮·諾伊曼晉身貴族。约翰加上头衔后的全名成為"Margittai Neumann János"。后来约翰把名字改成德语名"Johann von Neumann"。其名"John"(约翰)意为“主是仁慈的”,姓氏中的"von"是德语介词,而"Neumann"意为"neu"(new)+"Mann"(man),即“新人”。
1926年,冯·诺伊曼以22歲的年齡获得了布达佩斯大学数学博士学位,相继在柏林大学和汉堡大学担任数学讲师。
1930年,冯·诺伊曼接受了普林斯顿大学客座教授的职位。初到美國時,他在紐約對當地居民表演過默記電話簿的驚人記憶力。