Edgar Poe (Allan kom senere) blev født den 19. januar 1809 i Boston som søn af Elizabeth Arnold Poe og David Poe, Jr. Hans forældre var omrejsende skuespillere. Familien var meget fattig. I 1811 havde hans far forladt familien og efterlod Elizabeth Poe alene med den toårige Edgar, hans ældre bror Henry og hans spæde søster Rosalie. Og tingene blev snart værre. Den 8. december 1811 døde Elizabeth Poe af tuberkulose i Richmond, Virginia. Der kom snart en nyhed om, at David Poe også var død af den samme sygdom, få dage efter sin fraskilte kone. De tre Poe-børn blev splittet op. Henry tog af sted for at bo hos sine bedsteforældre fra faderen. Rosalie blev adopteret af Mackenzie-familien i Richmond. Og Edgar blev anbragt hos John og Frances Allan, et velhavende ægtepar fra Richmond, som ikke selv kunne få børn. Han tilføjede sin plejefamilies navn til sit eget og blev Edgar Allan Poe.
John Allan var en succesfuld købmand, og Edgar voksede op i en forholdsvis behagelig situation. Han var tæt knyttet til sin plejemor, Frances, men aldrig til sin plejefar, som altid syntes, at Edgar var et skvat, der var skammeligt utaknemmelig for alt det, parret gjorde for ham. Fra 1815 til 1820 boede familien i England, hvor den unge Edgar fik en god uddannelse på en skole uden for London. I 1824, da han var femten år og tilbage i Richmond, skrev Poe sit første digt: “Last night, with many cares & toils oppres’d,/ Weary, I laid me on a couch to rest.” På typisk vis angav Poe med vilje forkert både datoen for sin indskrivning og den tid, han var på college. I virkeligheden var Poe en god studerende med et dårligt spilleproblem. Ved slutningen af sit første semester havde han oparbejdet en gæld på 2.000 dollars, som John Allan nægtede at betale. Poe droppede både Allans og Virginia og rejste nordpå for at bo hos slægtninge i Baltimore.