I begyndelsen af sin karriere var Rubin assisterende forskningsdirektør i Arms Control Association.
Clinton-administrationenRediger
Rubin var under præsident Clinton assisterende udenrigsminister for offentlige anliggender og cheftalsmand for udenrigsministeriet fra 1997 til maj 2000. I Clinton-administrationen blev han betragtet som minister Madeleine Albrights højre hånd.
2000-2006: akademiske kredse og medierRediger
Når han forlod regeringen, flyttede Rubin og hans familie til London. Han påbegyndte en portefølje-karriere og blev: gæsteprofessor i internationale relationer ved London School of Economics; partner i kommunikationsrådgivningsfirmaet Brunswick; og mellem 2002 og 2003 vært for PBS’ Wide Angle-serie, et ugentligt program om internationale anliggender.
Efter at være vendt tilbage til USA var Rubin chef udenrigspolitisk talsmand for general Wesley Clarks præsidentkampagne fra lanceringen af Clarks kampagne i 2003, indtil Clark trak sig tilbage under det demokratiske partis præsidentvalgkampagne i 2004, og derefter arbejdede han for den demokratiske kandidat John Kerry under hans præsidentkampagne i 2004 som seniorrådgiver for nationale sikkerhedsanliggender. Han gjorde sig hurtigt et navn.
Han vendte tilbage til London og blev fra oktober 2005 til juli 2006 ledende nyhedsvært på World News Tonight på Sky News.
Støtte til Hillary Clintons kandidatur i 2008Rediger
Efter at være vendt tilbage til USA i 2007 i tiden op til præsidentvalget i 2008 var Rubin medlem af Hillary Clintons kampagneteam til den demokratiske nominering i 2008. Han skabte en vis kontrovers, da han beskrev Lord Trimble, modtager af Nobels fredspris og tidligere førsteminister i Nordirland, som en “skøre kugle”, fordi han udtalte, at Hillary Clintons påstand om at have været “hjælpsom” i den nordirske fredsproces var “en lille smule fjollet”. Rubin udtalte også, at Trimbles mening ikke var vigtig, da han var “protestant” og dermed “traditionelt konservativ”.
Under valgkampen i 2008 var Rubin gæst i CNN’s Late Edition med Wolf Blitzer i en udenrigspolitisk diskussion med Susan Rice, som senere blev Barack Obamas kandidat til posten som ambassadør ved De Forenede Nationer.
2009 til nuRediger
Rubin blev ansat hos Bloomberg News i december 2010 og fører tilsyn med de redaktionelle spørgsmål for Bloomberg News i Central- og Sydamerika, Mexico, Europa, Mellemøsten, Asien og Afrika. Han har også ledet Bloomberg View, et Bloomberg-op-ed-projekt, sammen med David Shipley. Efter kun 10 måneder forlod han stillingen og blev udnævnt til adjungeret professor ved Columbia University. Gov. Andrew Cuomo udnævnte Rubin til kommissær for Port Authority of New York and New Jersey i 2011 samt til rådgiver for statens Empire State Development Corporation.
Rubin fratrådte alle sine amerikanske stillinger den 29. maj 2013 og meddelte, at familien ville vende tilbage til London for at arbejde på flere projekter. Rubin blev udnævnt til scholar in residence ved Oxford University’s Rothermere American Institute. Han skrev også en ugentlig klumme om udenrigsanliggender for Sunday Times og var medformand for et panel på højt niveau om udvidelse af amerikansk magt for Center for a New American Security i Washington.
Rubin er i øjeblikket formand for International Policy and Strategy hos Ballard Partners, der har base i Washington DC. Han er også medarbejdende redaktør på Politico, hvor han skriver om amerikansk udenrigspolitik og verdensanliggender.