Альфи Аллен родился в округе Хаммерсмит, Лондон. Сын продюсера Элисон Оуэн и валлийского комика и актёра Кита Аллена. Его старшая сестра Лили Аллен, английская певица и автор песен, написала о нём песню «Альфи», одиннадцатую композицию своего дебютного альбома Alright, Still. Обучался в школах St Johns College в Southsea, Портсмут и Fine Arts College в Хампстеде. Является троюродным братом певцу Сэму Смиту.