Edgar Poe (de Allan kwam later) werd 19 januari 1809 in Boston geboren als zoon van Elizabeth Arnold Poe en David Poe, Jr. Zijn ouders waren rondreizende acteurs. Het gezin was straatarm. In 1811 had zijn vader het gezin in de steek gelaten, waardoor Elizabeth Poe alleen achterbleef met de tweejarige Edgar, zijn oudere broer Henry en zijn kleine zusje Rosalie. En het werd al snel erger. Op 8 december 1811 overleed Elizabeth Poe aan tuberculose in Richmond, Virginia. Al snel kwam het nieuws dat ook David Poe aan dezelfde ziekte was overleden, binnen enkele dagen na zijn van hem vervreemde vrouw. De drie kinderen Poe werden uit elkaar gehaald. Henry ging bij zijn grootouders van vaderskant wonen. Rosalie werd geadopteerd door de Mackenzie familie van Richmond. En Edgar werd opgenomen in het gezin van John en Frances Allan, een welgesteld echtpaar uit Richmond dat zelf geen kinderen kon krijgen. Hij voegde de naam van zijn pleeggezin toe aan zijn eigen naam en werd Edgar Allan Poe.
John Allan was een succesvol koopman, en Edgar groeide redelijk comfortabel op. Hij had een hechte band met zijn pleegmoeder, Frances, maar nooit met zijn pleegvader, die Edgar altijd een punker vond, ondankbaar voor alles wat het echtpaar voor hem deed. Van 1815 tot 1820 woonde het gezin in Engeland, waar de jonge Edgar een goede opleiding kreeg op een school buiten Londen. In 1824, toen hij vijftien was en terug in Richmond, schreef Poe zijn eerste gedicht: “Last night, with many cares & toils oppres’d,/ Weary, I laid me on a couch to rest. Typisch voor Poe is dat hij zowel de datum van zijn inschrijving als de duur van zijn studie opzettelijk verkeerd heeft opgegeven. In werkelijkheid was Poe een goede student met een slecht gokprobleem. Aan het eind van zijn eerste semester had hij een schuld van $2.000 opgebouwd, die John Allan weigerde te betalen. Poe liet de Allans en Virginia in de steek en ging naar het noorden om bij familie in Baltimore te gaan wonen.