Sugar Ray Robinson przyszedł na świat 3 maja 1921 w małej miejscowości Ailey w stanie Georgia. Jako Walker Smith Jr. Gdy miał dwa lata, jego rodzice się rozwiedli. Matka zabrała go o Nowego Jorku, razem z jego starszymi siostrami - Evelyn oraz Marie (zmarła w 1959 roku).
Smith w dzieciństwie marzył, aby zostać lekarzem. Boks zawrócił mu w głowie dopiero wtedy, gdy został wyrzucony ze szkoły. Po pierwszych treningach i występach w turniejach postanowił zmienić imię i nazwisko na Ray Robinson. Pseudonim "Sugar" (tłum. cukier) wziął się ze znanego w tamtym okresie powiedzenia: "jego styl walki jest słodki jak cukier".
Młodziutki Sugar Ray nie należał do grzecznych chłopców. Działał w lokalnym gangu, w wieku 16 lat ożenił się z Marjorie Joseph, z którą miał jedno dziecko. Trzy lata późnej się rozwiódł.
