Edgar Poe (Allan kom senare) föddes den 19 januari 1809 i Boston som son till Elizabeth Arnold Poe och David Poe, Jr. Hans föräldrar var resande skådespelare. Familjen var jordnära fattig. År 1811 hade hans far övergivit familjen och lämnade Elizabeth Poe ensam med den tvåårige Edgar, hans äldre bror Henry och hans lillasyster Rosalie. Och saker och ting blev snart värre. Den 8 december 1811 dog Elizabeth Poe av tuberkulos i Richmond, Virginia. Snart kom nyheten att David Poe också hade dött av samma sjukdom, bara några dagar efter sin främmande hustru. De tre Poe-barnen delades upp. Henry åkte iväg för att bo hos sina farföräldrar på faderns sida. Rosalie adopterades av familjen Mackenzie i Richmond. Edgar togs emot av John och Frances Allan, ett välbärgat par från Richmond som inte kunde skaffa egna barn. Han lade till sin fosterfamiljs namn till sitt eget och blev Edgar Allan Poe.
John Allan var en framgångsrik köpman och Edgar växte upp ganska bekvämt. Han stod sin fostermor Frances nära, men aldrig sin fosterfar, som alltid tyckte att Edgar var en skitstövel, skamligt otacksam för allt som paret gjorde för honom. Från 1815 till 1820 bodde familjen i England, där den unge Edgar fick en bra utbildning på en skola utanför London. År 1824, när han var femton år och tillbaka i Richmond, skrev Poe sin första dikt: ”I går kväll, med många bekymmer & och mödor som jag har kämpat emot,/ Trött lade jag mig på en soffa för att vila.” På typiskt sätt missuppfattade Poe avsiktligt både datumet för sin inskrivning och hur länge han var på college. I verkligheten var Poe en duktig student med ett dåligt spelproblem. I slutet av sin första termin hade han fått en skuld på 2 000 dollar, som John Allan vägrade att betala. Poe dumpade både Allans och Virginia och begav sig norrut för att bo hos släktingar i Baltimore.