Motif Mbah Ma’shum berdagang ternyata bukan uang. Di sela-sela berdagang, ia meluaskan pergaulan, membangun jaringan, untuk mengajar umat dan juga belajar. Di sela-sela berdagang itu, misalnya, ternyata Mbah Ma’shum secara rutin berkunjung ke Tebuireng untuk mengaji kepada Kyai Hasyim Asy’ari. Padahal, dari segi usia Mbah Ma’shum lebih tua. Kegiatan dagang itu dilakoni Mbah Ma’shum selama bertahun-tahun.
Kegiatan dagang Mbah Ma’shum dihentikan setelah beberapa kali bermimpi bertemu Rasulullah. Sebab, dalam mimpi itu, Rasulullah menasihatinya agar meninggalkan perdagangan dan beralih menjadi guru. Nasihat Rasul dalam mimpi yang paling diingat adalah ini: La khayra illa fi nasyr al-ilmi (Tiada kebaikan kecuali menyebarkan ilmu). Dalam mimpi lain, Rasul berpesan, “Mengajarlah, dan segala kebutuhanmu Insya Allah akan dipenuhi semuanya oleh Allah.”
Rupanya, setelah beberapa kali bermimpi dengan Rasul, Mbah Ma’shum merasa harus berkonsultasi dulu dengan Kyai Hasyim Asy’ari, yang biasa memanggil Mbah Ma’shum dengan sebutan Kangmas Ma’shum karena sudah amat akrab. Menurut Kyai Hasyim Asy’ari, mimpi itu sudah sangat jelas dan tak perlu lagi ditafsirkan. Setelah itu, Mbah Ma’shum mantap untuk menetap di Lasem, Kabupaten Rembang, Jawa Tengah. Niatnya bulat, istiqamah untuk mengajar umat.
Namun, sebelum mendirikan pesantren, Mbah Ma’shum terlebih berziarah ke beberapa makam Wali Allah, seperti makam Habib Ahmad ibn Abdullah ibn Tholib Alatas, Sapuro, Pekalongan. Saat ziarah pada malam Jumat itu, Habib Ahmad Alatas menemui Mbah Ma’shum dan memintanya memimpin doa bersama. Selain itu, Mbah Ma’shum juga ziarah ke makam Mbah Jejeruk (Sultan Mahmud) di Binangun Lasem dan Habib Ali Kwitang, Jakarta.
Setelah itu, Mbah Ma’shum keliling kota meminta sumbangan, dan berhasil mendapatkan sejumlah uang yang dibutuhkan untuk membangun pesantren. Pesantrennya itu kemudian dinamakan Pesantren al-Hidayat Lasem. Dari pesantren yang diasuhnya, banyak murid Mbah Ma’shum yang menjadi kiaia besar dan tokoh nasional, di antaranya adalah Kiai Abdul Jalil Pasuruan, Kiai Abdullah Faqih Langitan, Kiai Ahmad Saikhu Jakarta, Kiai Bisri Mustofa Rembang, Kiai Fuad Hasyim Buntet Cirebon, putranya sendiri KH Ali Maksum Krapyak, dan masih banyak lagi.
Selain istiqomah mengajar di pesantrennya, Mbah Ma’shum juga aktif berorganisasi. Sebagai salah satu pendirinya, Mbah Ma’shum memiliki jasa yang sangat besar dalam membesarkan organaisasi Nahdlatul Ulama (NU). Mbah Ma’shum dikenal sebagai sosok yang sangat mencintai NU.