Hijrah ke Jawa merupakan bentuk dari strategi tentara Indonesia untuk menyelamatkan pasukan beserta senjatanya. Pada waktu itu Belanda telah menguasai Sumenep, begitu juga dengan daerah Madura di belahan lainnya telah ditaklukkan Belanda. Saat itu dikeluarkan surat perintah dari Komandan Resimen 35/COPP 6/35 Madura, yang salah satu isinya agar pasukan kembali ke Jawa.
Sebelum adanya surat edaran, Kiai Zaini dan pasukan lainnya masih melakukan perang grilya. Setelah menerima informasi terkait surat edaran tersebut, Kiai Zaini segera meninggalkan Madura. Apalagi, saat itu Belanda telah membakar rumah dan pondok pesantrennya. Kiai Zaini akhirnya memutuskan hijrah dan melanjutkan perjuangannya ke Jawa.
Kiai Zaini hijrah dari Madura bersama KH Zawawi Mun’im (adik kandungnya), Ustaz Sarodji, keluarga beserta anak-anaknya. Kiai Zaini hijrah ke Sukorejo-l, Situbondo lewat Pelabuhan Prenduan di Sumenep.
Namun, saat berada di pelabuhan, ketika rombongan Kiai Zaini menaiki perahu, tiba-tiba tentara Belanda datang menyerang dan menghujani tembakan. Melalui karamah Kiai Zaini semua peluru dapat ditangkis dengan tangan kosong. Bahkan sebagian peluru dapat diputarbalikkan ke tentara Belanda.
Setelah sampai di Sukorejo, Kiai Zaini beserta rombongan menetap di Pondok Pesantren Salafiyah Syafi’iyah Sukorejo yang diasuh oleh KH Syamsul Arifin, Ayah dari KH As’ad Syamsul Arifin.
Alasan Sukorejo dipilih sebagai tempat persembunyian karena Pondok Pesantren Salafiyah Syafi’iyah dijadikan sebagai Heilige Zone (daerah suci) yang menjadi daerah terlarang. Belanda tidak akan memasuki daerah Sukorejo, bahkan sekalipun untuk menangkap tokoh pejuang Indonesia. Sehingga Pondok Pesantren Salafiyah Syafi’iyah dijadikan sebagai tempat pelarian dan persembunyian para pejuang Indonesia.