Setelah selesai dari PGA, oleh ayahnya, Kiai Mudjab Mahalli dititipkan kepada Kiai Busyro yang tidak lain masih iparnya untuk dicarikan pondok pesantren. Pada akhirnya Mudjab muda dibawa untuk sowan ke Mbah Kiai Hamid Kajoran, seorang ulama dan wali besar di daerah Magelang.
Namun, oleh Mbah Hamid, Mudjab muda malah disarankan untuk nyantri di Pesantren Salafiyah Banjarsari, Tempuran, Magelang di bawah pimpinan seorang alim dan zuhud, yaitu KH Muhammad Syuhudi. Akhirnya, Mudjab muda belajar pada Kiai Muhammad Syuhudi selama sembilan tahun.
Ketika nyantri dapat tujuh bulan di Pesantren Salafiyah ini, Mudjab muda mendapat kabar bahwa abahnya, Kiai Mahalli, meninggal dunia. Hal ini membuat hati Mudjab muda berduka sangat mendalam, hampir-hampir dia tidak mau kembali lagi ke pesantren. Namun, karena sudah menjadi amanah dari kedua orang tuanya, akhirnya Kiai Mudjab tetap melanjutkan nyantri di Pondok Salafiyah Banjarsari.
Di pesantren ini Mudjab muda sangat rajin, tekun belajar, dan mulai tampak bakat-bakatnya termasuk bakatnya dalam menulis. Kiai Mudjab sadar bahwa pesantren peninggalan ayahnya harus dikembangkan. Oleh sebab itu Mudjab muda tekun dalam belajar.
Pada tahun 1982, Kiai Mudjab boyong dari Pesantren Salafiyah Banjarsari. Kemudian setelah kepulangannya ini, Mudjab muda mulai merintis pesantren peninggalan ayahnya tersebut. Namun, Mudjab Mahalli kemudian dihadapkan pada dua pilihan berat, yaitu antara membangun pesantren atau melanjutkan studi ke Timur Tengah. Mudjab Mahalli pun bingung menentukan pilihan di antara dua pilihan tersebut. Untuk memutuskan pilihannya, Mudjab Mahalli sowan lagi ke Kiai Hamid Kajoran guna meminta saran kemudian. Saat itu, Kiai Hamid Kajoran memberi saran agar Kiai Mudjab memantabkan hati untuk mengembangkan pondok pesantren.