Даниэль Ольбрыхский родился в Польше, в городе Лович 27 февраля 1945 года у журналиста Франтишека Ольбрыхского (1905—1981) и лицейской преподавательницы иностранных языков Клементины Солонович-Ольбрыхской (16 сентября 1909 — 4 февраля 1995). У актёра был старший брат Кшиштоф (был физиком, умер 13 марта 2017 года). Родители участвовали в Варшавском восстании. После рождения Даниэля семья переехала в родной город Клементины Дрогичин, где Даниэль прожил до 11 лет, после чего семья перебралась в Варшаву. Они поселились в коммуналке на Новогродской улице, где жили ещё 3 семьи. Даниэлю досталась проходная комната, через которую все ходили в ванную.