Robert Smalls se narodil jako otrok Robertu a Lydii Smallsovým v Beaufortu, S.C., 5. dubna 1839. V mládí byl odvezen do Charlestonu, kde pracoval na různých místech. Brzy si osvojil námořnické umění a stal se de facto lodivodem konfederačního dopravního parníku Planter. Smalls se nikdy nesmířil se svým zotročením a byl odhodlán se osvobodit. Naučil se číst a psát, zvládl záludné proudy a kanály charlestonského přístavu a vyčkával. Dříve nebo později jeho šance přijde: bude svobodný. Musel být svobodný.
Občanská válka přinesla jeho šanci. Ráno 13. května 1862, dlouho před východem slunce a v době, kdy bílí důstojníci lodi v Charlestonu ještě spali, propašoval Smalls svou ženu a tři děti na palubu lodi Planter a ujal se velení. S posádkou 12 otroků Smalls vztyčil konfederační vlajku a s velkou odvahou vyplul s Planterem kolem ostatních konfederačních lodí na moře. Jakmile se dostal mimo dostřel konfederačních děl, vztyčil vlajku příměří a předal Planter velícímu důstojníkovi loďstva Unie. Smalls vysvětlil, že Planter zamýšlel jako příspěvek černých Američanů k věci svobody. Loď byla přijata jako kontraband a Smalls a jeho černošská posádka byli přivítáni jako hrdinové. Později prezident Lincoln přijal Smallse ve Washingtonu a odměnil jej i jeho posádku za jejich statečnost. Dostal oficiální velení na lodi Planter a stal se kapitánem amerického námořnictva; v této funkci sloužil po celou dobu války.
Po válce se Smalls vrátil do Jižní Karolíny a vstoupil do politiky. V letech 1868-1870 působil v karolinském senátu. V roce 1875 byl zvolen do Kongresu USA na první z pěti funkčních období. Jeho výsledky jako kongresmana byly pokrokové. Bojoval za rovné podmínky pro cestování černošských Američanů a za občanskou a právní ochranu dětí smíšeného původu. Byl jedním ze šesti černošských členů ústavního shromáždění Jižní Karolíny v roce 1895.
Po odchodu z Kongresu působil Smalls jako výběrčí cla v přístavu Beaufort. Zachoval si zájem o armádu a byl generálmajorem jihokarolínské domobrany. Zemřel 22. února 1916.