A infância do músico também foi muito dura. Sua família foi abandonada pelo pai quando Eminem tinha somente seis meses de vida. Sua mãe não tinha um trabalho estável e se mudava com o filho, até que ambos se instalaram nos subúrbios de Detroit. Eminem e sua mãe nunca tiveram uma boa relação.