KH Ali Yafie lahir di keluarga yang menjunjung tinggi agama. Ayahnya merupakan seorang ulama besar di Sulawesi Tengah, yaitu Syekh Muhammad al-Yafie dan ibunya bernama Imacayya, salah seorang putri raja Ternate.Jika diurutkan nasabnya KH.Ali Yafie masih keturunan bangsawan.
Pada usia 19 tahun, KH.Ali Yafie melepas masa lanjangnya dan menikah dengan Hj Aisyah yang saat itu masih berusia 16 tahun. Meski menikah muda, mereka hidup bahagia sampai hari tua. Buah dari pernikahanya ini ia dikaruniahi empat orang anak yang menjadi penerusnya kelak.
