Robert Smalls blev født som slave af Robert og Lydia Smalls i Beaufort, S.C., den 5. april 1839. Han blev taget til Charleston som ung og arbejdede der på en række forskellige job. Han beherskede snart søfartskunsten og blev de facto pilot på en af konføderationens transportdamperer, Planter. Smalls accepterede aldrig sin slavetilstand og var fast besluttet på at frigøre sig selv. Han lærte sig selv at læse og skrive, beherskede de vanskelige strømme og kanaler i Charlestons havn og ventede på sin tid. Før eller senere ville hans chance komme: han ville blive fri. Han var nødt til at blive fri.
Borgerkrigen gav ham chancen. Om morgenen den 13. maj 1862, længe før solen stod op, og mens skibets hvide officerer stadig sov i Charleston, smuglede Smalls sin kone og sine tre børn om bord på Planter og overtog kommandoen. Sammen med sin besætning på 12 slaver hejste Smalls det konfødererede flag og sejlede Planter med stor dristighed forbi de andre konfødererede skibe og ud på havet. Da han var uden for rækkevidde af de konfødererede kanoner, hejste han et våbenhvileflag og overgav Planter til den øverstbefalende officer for Unionens flåde. Smalls forklarede, at han havde tænkt sig, at Planter skulle være et bidrag fra sorte amerikanere til frihedens sag. Skibet blev modtaget som smuglergods, og Smalls og hans sorte besætning blev budt velkommen som helte. Senere modtog præsident Lincoln Smalls i Washington og belønnede ham og hans besætning for deres tapperhed. Han fik officielt kommandoen over Planter og blev kaptajn i den amerikanske flåde; i denne stilling tjente han under hele krigen.
Efter krigen vendte Smalls tilbage til South Carolina for at gå ind i politik. Han sad i Carolina-senatet fra 1868 til 1870. I 1875 blev han valgt til den amerikanske kongres for den første af fem valgperioder. Hans resultater som kongresmedlem var progressive. Han kæmpede for lige rejsemuligheder for sorte amerikanere og for civil og juridisk beskyttelse af børn af blandet afstamning. Han var et af de seks sorte medlemmer af South Carolinas forfatningskonvent i 1895.
Når han forlod kongressen, var Smalls toldindsamler for havnen i Beaufort. Han bevarede sin interesse for militæret og var generalmajor i South Carolinas milits. Han døde den 22. februar 1916.