Dikisahkan, Kiai Ahmad Zaini saat itu masih mondok di Pesantren Tasiagung, Rembang saat berusia 15 tahun. Sebelmunya, ia juga sudah nyantri di Kediri selama lima tahun. Saat sedang sambang rumah di Mojoduwur pada 1969, Kiai Ahmad Zaini diperintah untuk bermukim oleh Mbah Kiai Mundzir yang kebetulan sedang ziarah ke makam Kiai Arfiyyah. Mbah Mundzir memerintahkan kepada Kiai Ahmad Zaini untuk menetap di Mojoduwur dan menyampaikan ilmunya di Mojoduwur. Sejak saat itu, Kiai Ahmad tidak kembali lagi ke Rembang dan menetap di Mojoduwur, padahal semua barang-barangnya masih berada di Rembang.
Kiai Ahmad Zaini diberi wasiat oleh kedua orang tuanya untuk membuat sumur dan meneruskan menembok bagian barat kamar mandi sampai makam Mbah Kiai Arfiyyah. Pada saat itu, banyak masyarakat yang tidak suka dengan prestasi Kiai Ahmad Zaini. Ada sebuah kejadian, waktu itu semua material bangunan yang akan digunakan untuk membangun kamar mandi pondok dibersihkan oleh masyarakat yang alasannya akan ada bupati yang datang ke Mojoduwur, padahal Bupati itu tidak datang. Banyak masyarakat yang tidak suka, seperti kiai desa setempat, pamong desa, dan masyarakat setempat karena khawatir kedudukannya akan tergeser.
Karena tidak kuat dengan perlakuan masyarakat terhadapnya, pada awal1972 Kiai Ahmad Zaini memutuskan untuk meninggalkan Mojoduwur. Ia berkenalan untuk berziarah dari makam ke makam. Bersilaturahmi dari satu kiai ke kiai yang lain untuk meminta petunjuk. Ia juga banyak menghabiskan waktunya di Sewulan, Madiun.
Dari sekian banyak kiai yang didatangi Kiai Ahmad Zaini, mereka banyak yang mengatakan bahwa Kiai Ahmad Zaini lebih bermanfaat di Mojoduwur. Setelah 3-6 bulan meninggalkan Mojoduwur, beliau akhirnya memutuskan untuk kembali ke Mojoduwur. Kemudian mulai ada satu-dua anak yang mendekat ke pesantren dan akhirnya dengan telaten Kiai Ahmad Zaini menularkan ilmunya kepada mereka.
Pada 1986 mulai ada santri mondok dari luar daerah (santri putra). Lalu, pada 1994, ada santri puti yang mondok dari luar daerah. Puncak keemasan Pondok Al-Arfiyyah adalah pada tahun 1999, ada 200 santri yang mondok di sana. Pada 13 November 2001, Kiai Ahmad Zaini wafat. Dan santri di Pondok Pesantren Al-Arfiyyah muali berkurang sedikit demi sedikit. Sampai sekarang, hanya tersisa sekitar 40-50 orang santri. Sampai meninggalnya pun, Kiai Ahmad Zaini tidak pernah menjadi imam salat, tidak pernah berkhutbah, tidak pernah mengisi pengajian. Beliau juga tidak menikah sampai tutup usia, sehingga beliau tidak mempunyai keturunan.