Дрейер был внебрачным ребёнком Енса Кристиана Торпа, датского фермера, и работавшей у него Йозефины Бернардины Нильссон, батрачки из Скании, которая погибла, пытаясь совершить аборт. Первые два года жизни провёл в приютах, затем был усыновлён строгой лютеранской семьёй типографа Карла Теодора Дрейера, в честь которого и был назван.