自傑佛遜在世時便爭議不斷的一個題材,他是否女奴莎麗·海明斯子女之父?此一說法自1802年起廣泛得到公眾關注。記者詹姆斯·科連德(James T. Callender)於里奇蒙的地方報刊中寫道,海明斯曾為傑佛遜之『情妇』,長達數年之久,並為傑佛遜生下多名子女[37]。傑佛遜未曾對此作任何公開回應,但其遺囑中要求予海明斯之兩子艾斯頓(Eston)與麥迪遜·海明斯(Madison Hemings),自由之身。兩人後來聲稱傑佛遜為其生父。
1998年,一項對其DNA的研究,斷定海明斯與傑佛遜兩個家族間具有遗传上的連結,但無法確證杰斐逊本人為海明斯家族之始祖。三項研究成果於2000年代初期發佈,並公開出版。在蒙地沙羅運作的托马斯·杰斐逊基金會(Thomas Jefferson Foundation)[38]聲明『不太可能是…傑佛遜家族內的其他人,而非托马斯·杰斐逊本人,為海明斯子女之父。』托马斯·杰斐逊遺產協會(Thomas Jefferson Heritage Society)下屬一個研究委員會,由13名獨立成員所組成的學者委員會領導,[39]斷言,以傑佛遜本人為其始祖的理論站不住腳。『全國宗譜協會季刊』(National Genealogical Society Quarterly)稍後發文評論,莎麗·海明斯與托马斯·杰斐逊兩人間的的關係證據確鑿。[40]