Ajakan dari tiga kiai tersebut disambut hangat dan diterima dengan tangan terbuka oleh Kiai Zaini. Sebab, semangat perjuangan dan rasa pengabdiannya sangat tinggi di dalam dirinya. Sejak saat itu Kiai Zaini resmi menjadi anggota Rai’is Syuriyah NU Cabang Kraksaan, Probolinggo.
Pada Muktamar ke-19 tahun 1952 di Palembang, NU memutuskan untuk keluar dari Masyumi dan berdiri sendiri menjadi partai politik. Kiai Zaini mengalami kebingungan dan kebimbangan. Sebab, di dalam keduanya (NU dan Masyumi) terdapat dua gurunya yang sama-sama mempunyai peran besar.
Pertama, KH Abdul Madjid Pamekasan merupakan guru Kiai Zaini. Kiai Abdul Madjid merupakan tokoh yang aktif organisasi yang berada di bawah naungan partai Masyumi.
Kedua, KH Hasyim Asy’ari, pendiri dan Ra’is Akbar Nahdlatul Ulama, merupakan guru Kiai Zaini. Ketika diajak bergabung ke organisasinya Kiai Abdul Madjid, Kiai Zaini tidak langsung mengiyakan. Sebab, di NU ada KH Hasyim Asy’ari yang mengajaknya untuk ikut bersamanya.
KH Wahid Zaini, putra Kiai Zaini, menuturkan, bahwa Kiai Zaini jika dilihat dari pemahaman politik dan kenegaraannya akan lebih condong bergabung dengan Masyumi dari pada NU yang pemahamannya masih tradisional.
Untuk menentukan pilihannya, Faqih Zawawi menjelaskan bahwa Kiai Zaini melakukan istikharah untuk memperoleh petunjuk. Di dalam istikharahnya, Kiai Zaini melihat dua mobil. Kemudian, KH Abdul Madjid mengajak Kiai Zaini untuk ikut ke dalam salah mobil tersebut.
Namun, saat Kiai Zaini hampir mendekati mobil yang ditumpanginya, tiba-tiba mendengar KH Hasyim Asy’ari memanggilnya. “Kamu di sini saja, Zaini,” tutur KH Hasyim Asy’ari sambil mempersilakan Kiai Zaini untuk masuk ke dalam mobilnya.
Kiai Zaini akhirnya masuk ke dalam mobil yang ditumpangi KH Hasyim Asy’ari, yang memang lebih baik dari mobil yang ditumpangi KH Abdul Madjid.