Edgar Poe (Allan přišel později) se narodil 19. ledna 1809 v Bostonu Elizabeth Arnold Poeové a Davidu Poeovi mladšímu.Jeho rodiče byli kočovní herci. Rodina byla chudá. V roce 1811 otec rodinu opustil a Elizabeth Poeová zůstala sama s dvouletým Edgarem, jeho starším bratrem Henrym a malou sestrou Rosalií. A situace se brzy zhoršila. Dne 8. prosince 1811 zemřela Elizabeth Poeová v Richmondu ve Virginii na tuberkulózu. Brzy přišla zpráva, že na stejnou nemoc zemřel i David Poe, a to několik dní po své odcizené manželce. Tři Poeovy děti se rozdělily. Henry odešel k prarodičům z otcovy strany. Rosalie byla adoptována rodinou Mackenzieových z Richmondu. A Edgara se ujala rodina Johna a Frances Allanových, zámožných richmondských manželů, kteří nemohli mít vlastní děti. Ke svému jménu přidal jméno své pěstounské rodiny a stal se Edgarem Allanem Poem.
John Allan byl úspěšný obchodník a Edgar vyrůstal poměrně pohodlně. Byl si blízký se svou pěstounkou Frances, ale nikdy s pěstounem, který si vždycky myslel, že Edgar je grázl, hanebně nevděčný za všechno, co pro něj manželé udělali. V letech 1815 až 1820 žila rodina v Anglii, kde se mladému Edgarovi dostalo dobrého vzdělání ve škole u Londýna. V roce 1824, když mu bylo patnáct a vrátil se do Richmondu, napsal Poe svou první báseň: „Včera v noci, mnoha starostmi & zmožen, / unaven, položil jsem se na pohovku, abych si odpočinul.“ Typickým způsobem Poe záměrně zkreslil jak datum svého nástupu, tak dobu, po kterou byl na vysoké škole. Ve skutečnosti byl Poe dobrým studentem, který měl problémy s hazardními hrami. Na konci prvního semestru mu vznikl dluh 2 000 dolarů, který John Allan odmítl zaplatit. Poe se vykašlal na Allanovy i na Virginii a zamířil na sever k příbuzným do Baltimoru.