Edgar Poe (Allan tuli myöhemmin) syntyi 19. tammikuuta 1809 Bostonissa Elizabeth Arnold Poen ja David Poe Jr:n lapsena. Hänen vanhempansa olivat kiertäviä näyttelijöitä. Perhe oli likaisen köyhä. Vuoteen 1811 mennessä hänen isänsä oli hylännyt perheen, ja Elizabeth Poe jäi yksin kaksivuotiaan Edgarin, hänen isoveljensä Henryn ja pikkusiskonsa Rosalien kanssa. Tilanne paheni pian. Elizabeth Poe kuoli 8. joulukuuta 1811 tuberkuloosiin Richmondissa, Virginiassa. Pian saapui uutinen, että myös David Poe oli kuollut samaan tautiin muutaman päivän sisällä vieraantuneesta vaimostaan. Poen kolme lasta erotettiin toisistaan. Henry lähti asumaan isänpuoleisten isovanhempiensa luokse. Rosalie adoptoitiin Richmondissa asuvaan Mackenzien perheeseen. Edgar otettiin John ja Frances Allanin perheeseen, joka oli varakas Richmondin pariskunta, jolla ei ollut omia lapsia. Hän lisäsi sijaisperheensä nimen omaansa, ja hänestä tuli Edgar Allan Poe.
John Allan oli menestyvä kauppias, ja Edgar kasvoi melko mukavasti. Hän oli läheinen sijaisäitinsä Francesin kanssa, mutta ei koskaan sijaisisisänsä kanssa, jonka mielestä Edgar oli aina nilkki, häpeällisen epäkiitollinen kaikesta siitä, mitä pariskunta teki hänen hyväkseen. Vuosina 1815-1820 perhe asui Englannissa, jossa nuori Edgar sai hyvän koulutuksen koulussa Lontoon ulkopuolella. Vuonna 1824, viisitoistavuotiaana ja takaisin Richmondissa, Poe kirjoitti ensimmäisen runonsa: ”Viime yönä, monien huolien & ahdistamana,/ väsyneenä, laskin itseni sohvalle lepäämään.” Tyypilliseen tapaan Poe ilmoitti tarkoituksella väärin sekä ilmoittautumispäivämääränsä että opiskeluaikansa pituuden. Todellisuudessa Poe oli hyvä opiskelija, jolla oli paha peliongelma. Ensimmäisen lukukauden loppuun mennessä hänelle oli kertynyt 2 000 dollarin velka, jota John Allan kieltäytyi maksamasta. Poe jätti sekä Allanit että Virginian ja lähti pohjoiseen asumaan sukulaisten luo Baltimoreen.