Robert Smalls syntyi orjana Robert ja Lydia Smallsille Beaufortissa, osavaltion osavaltiossa 5. huhtikuuta 1839. Hänet vietiin nuorena Charlestoniin ja työskenteli siellä erilaisissa töissä. Pian hän hallitsi merenkulun taidon ja hänestä tuli konfederaation kuljetushöyrylaiva Planterin tosiasiallinen luotsi. Smalls ei koskaan hyväksynyt orjuuttaan ja oli päättänyt vapauttaa itsensä. Hän opetti itsensä lukemaan ja kirjoittamaan, hallitsi Charlestonin sataman hankalat virtaukset ja kanavat ja odotteli omaa aikaansa. Ennemmin tai myöhemmin hänen tilaisuutensa tulisi: hän olisi vapaa. Hänen oli pakko olla vapaa.
Sisällissota toi hänelle tilaisuuden. Toukokuun 13. päivän aamuna 1862, kauan ennen kuin aurinko nousi ja kun laivan valkoiset upseerit vielä nukkuivat Charlestonissa, Smalls salakuljetti vaimonsa ja kolme lastaan Planterin kyytiin ja otti komennon. 12 orjan miehistönsä kanssa Smalls nosti konfederaation lipun ja purjehti suurella rohkeudella Planterin muiden konfederaation alusten ohi ja merelle. Kun hän oli konfederaation tykkien kantaman ulottumattomissa, hän nosti aselevon ja luovutti Planterin unionin laivaston komentavalle upseerille. Smalls selitti, että hän piti Planteria mustien amerikkalaisten panoksena vapauden puolesta. Alus otettiin vastaan salakuljetuksena, ja Smalls ja hänen musta miehistönsä otettiin vastaan sankareina. Myöhemmin presidentti Lincoln otti Smallsin vastaan Washingtonissa ja palkitsi hänet ja hänen miehistönsä urheudesta. Hän sai virallisesti komentaa Planter-alusta ja hänestä tehtiin Yhdysvaltain laivaston kapteeni; tässä tehtävässä hän palveli koko sodan ajan.
Sodan jälkeen Smalls palasi Etelä-Carolinaan ja ryhtyi politiikkaan. Hän toimi Carolinan senaatissa vuosina 1868-1870. Vuonna 1875 hänet valittiin Yhdysvaltain kongressiin ensimmäiseksi viidestä kaudesta. Hänen saavutuksensa kongressiedustajana oli edistyksellinen. Hän taisteli mustaihoisten amerikkalaisten tasavertaisten matkustusmahdollisuuksien puolesta ja sekasukuisten lasten siviili- ja oikeussuojan puolesta. Hän oli yksi Etelä-Carolinan vuoden 1895 perustuslakikokouksen kuudesta mustasta jäsenestä.
Kongressista lähdettyään Smalls toimi Beaufortin sataman tullimiehenä. Hän säilytti kiinnostuksensa armeijaan ja oli Etelä-Carolinan miliisin kenraalimajuri. Hän kuoli 22. helmikuuta 1916.