Драйвер родился в Сан-Диего, штат Калифорния, в семье Нэнси Райт (Нидхэм), помощника юриста, и Джо Дугласа Драйвера. У него английские, ирландские, шотландские, немецкие и нидерландские корни[5]. Адам посещал среднюю школу в Мишавоке и окончил её в 2001 году. Он участвовал в нескольких школьных постановках и был одним из лучших в школьном хоре.
