Akhirnya, pada 1966, Ali Mustafa tercatat sebagai santri di Pesantren Seblak Jombang. Saat itu, Pesantren Seblak Jombang diasuh KH Ma’shum Ali. KH Ma’shum Ali ini merupakan salah seorang santri pertama Hadratussyeikh Hasyim Asy’ari.
Tiga tahun kemudian, giliran Ali Mustafa yang nyantri di Pesantren Tebuireng Jombang. Saat itu, Pondok Tebuireng diasuh KH Syamsuri Badawi, KH Adhlan Ali, KH Shobari, dan KH Idris Kamali. Sejak saat itulah Ali Mustafa menekuni berbagai macam kitab kuning. Pada 1972, Ali Mustafa Yaqub melanjutkan kuliah di Universitas Hasyim Asy’ari Jombang dan lulus pada 1975. Setahun kemudian, ia berangkat ke Saudi Arabia untuk belar di Fakultas Syari’ah Universitas Islam Imām Muhammad bin Sa’ud, Riyadh. Ali Mustafa memang memperoleh beasiswa penuh dari pemerintah Arab Saudi.
Setelah lulus pada 1980, Ali Mustafa melanjutkan lagi studi di Departemen Studi Islam jurusan Tafsir dan Hadis Universitas King Sa’ud dan lulus pada 1985. Bertahun-tahun kemudia, pada 2006, Ali Mustafa mengambil program doktor di Universitas Nizamia Hyderabad India, dan pada 2007 mampu menyelesaikan program doktor pada konsentrasi Hukum Islam universitas tersebut.
Di Tanah Air, KH Ali Mustafa Ya’qub mengajarkan ilmunya di berbagai lembaga pendidikan. Misalnya, ia menjadi pengajar di Institut Ilmu al-Qur’an (IIQ) Jakarta untuk mata kuliah hadis dan ilmu hadis. Selain itu, KH Ali Mustafa juga mengajar di Perguruan Tinggi Ilmu al-Qur’an (PTIQ) Jakarta, Pengajian Tinggi Islam Masjid Istiqlal Jakarta, Institut Agama Islam Shalahuddin al-Ayyubi (INNISA) Tambun Bekasi, dan Universiatas Islam Negeri Syarif Hidayatulllah (UIN) Jakarta