Edgar Poe (az Allan később jött) 1809. január 19-én született Bostonban Elizabeth Arnold Poe és David Poe, Jr. gyermekeként.Szülei vándorszínészek voltak. A család piszkosul szegény volt. 1811-re apja elhagyta a családot, így Elizabeth Poe egyedül maradt a kétéves Edgarral, idősebb testvérével, Henryvel és csecsemő húgával, Rosalie-val. És a dolgok hamarosan rosszabbra fordultak. 1811. december 8-án Elizabeth Poe a virginiai Richmondban tuberkulózisban meghalt. Hamarosan érkezett a hír, hogy David Poe is ugyanebben a betegségben halt meg, néhány nappal elhidegült felesége után. A három Poe-gyermek szétvált. Henry az apai nagyszüleihez költözött. Rosalie-t a richmondi Mackenzie család fogadta örökbe. Edgart pedig John és Frances Allan családja fogadta be, egy jómódú richmondi házaspár, akiknek nem lehetett saját gyermekük. Nevelőcsaládja nevét hozzáadta a sajátjához, így lett Edgar Allan Poe.
John Allan sikeres kereskedő volt, és Edgar meglehetősen kényelmesen nőtt fel. Közel állt nevelőanyjához, Franceshez, de nevelőapjához soha, aki mindig úgy gondolta, hogy Edgar egy punk, szégyenletesen hálátlan mindazért, amit a házaspár tett érte. 1815 és 1820 között a család Angliában élt, ahol a fiatal Edgar jó nevelést kapott egy London melletti iskolában. 1824-ben, tizenöt éves korában, amikor visszatért Richmondba, Poe megírta első versét: “Tegnap este, sok gondtól & fáradságtól & elnyomva,/ fáradtan, lefeküdtem egy díványra pihenni”. Jellemző módon Poe szándékosan tévesen adta meg mind a beiratkozásának időpontját, mind az egyetemen töltött idő hosszát. A valóságban Poe jó tanuló volt, akinek súlyos játékszenvedélye volt. Az első szemeszter végére 2000 dolláros adósságot halmozott fel, amit John Allan nem volt hajlandó kifizetni. Poe otthagyta Allanékat és Virginiát is, és észak felé vette az irányt, hogy Baltimore-ban éljen rokonainál.