Sepulang dari Mekah, Habib Ali Bafaqih kembali ke tanah air, dan nyantri di Pondok Pesantren Bahrul Ulum Tambak Beras Jombang, berguru KH Hasbullah, ayahanda KH Wahab Hasbullah. Setelah itu, Habib Ali Bafaqih mengajar di Madrasah al-Khairiyah selama setahun di tanah kelahirannya, Banyuwangi. Selanjutnya, Habib Ali Bafaqih menyeberang ke Lombok Barat, berdakwah bersama KH Soleh Hanbali Bengkel. Saat itulan, Habib Ali Bafaqih menjalin persahabatan dengan Tuan Guru Zainuddin Abdul Majid, Pendiri Jamiyyah Nahdlatul Wathon di Nusa Tenggara Barat.
Pada periode itu, Habib Ali Bafaqih dipanggil oleh seorang ulama besar dari Loloan, Datuk Kiai Haji Mochammad Said. Atas permintaan Sang Datuk, pada 1918 Habib Ali Bafaqih menyeberang ke Bali, menuju Loloan. Namun, baru pada tahun 1935 beliau mendirikan Pondok Pesantren Syamsul Huda yang kini telah meneteskan ribuan ulama, dai, dan ustazah. Para santri datang dari berbagai pelosok desa di Tanah Air. Mereka belajar membaur dengan kehidupan masyarakat Loloan yang sejak ratusan tahun lalu telah dikunjungi oleh ulama-ulama tangguh dari berbagai daerah. Tak terkecuali ulama besar dari Trengganu (Malaysia) yang meninggalkan negerinya lalu hijrah ke Loloan sekitar awal abad 19.
Debat dengan Wahabi
Cara dakwah Habib Ali Bafaqih diterima dengan oleh masyarakat Bali, termasuk dari mereka yang nonmuslim. Sehingga, di daerah Loloan ini, masyarakat Islam dan Hindu hidup berdampingan, membaur, penuh toleransi dan kedamaian. Namun, rupanya ada kelompok lain yang tidak menyukai kondisi tenteram seperti ini. Maka, mulai 1934, Pulau Bali menjadi target gerakan puritanisme yang dikomandoi oleh kelompok yang mengaku modernis Islam alias sekte Wahabi. Beberapa tokoh Wahabi dikirim dari Solo dan Banyuwangi untuk menancapkan pengaruhnya dengan cara menyerang habis-habisan tradisi Islam yang tumbuh di tengah-tengah masyarakat setempat. Mereka menggunakan slogan-slogan taklid buta, bidah, khurafat, dan takhayul untuk menjelek-jelekkan ajaran Habib Ali Bafaqih. Bahkan, praktik beragama ulama dan masyarakat muslim Bali dituduh telah tercemari oleh perbuatan syirik.