Seperti diketahui, SI merupakan organisasi para ulama Nusantara yang berorientasi menentang kebijakan-kebijakan pemerintah penjajahan Kolonial Hindia-Belanda di Nusantara. Melalui SI pula, kebijakan-kebijakan pemerintah jajahan yang tidak sesuai dengan syariat Islam dan sangat merugikan rakyat ditentang secara konstitusional. Hingga pada gilirannya, para ulama pengurus SI kemudian menggabungkan diri ke Nahdlatul Ulama alias NU.
Sebagai putra tunggal seorang kuwu —sebutan untuk kepala desa— di Majalengka menjadikan KH Abdul Chalim tidak canggung lagi ketika dilibatkan dalam berbagai kepengurusan di SI Hijaz. Demikian pun ketika ia kembali ke tanah air pada 1917. Sepulangnya dari tanah suci, KH Abdul Chalim membantu orang tuanya di kampung untuk meringankan penderitaan rakyatnya akibat penjajahan Belanda.
Turut Membidani NU
Pada 1922, KH Abdul Chalim kemudian mengembara dari kediamannya di Leuwimunding ke Surabaya dengan berjalan kaki selama empat belas hari untuk bergabung dengan teman-teman seperjuangannya. Di Surabaya, atas jasa Kiai Amin Peraban, KH Abdul Chalim bertemu kembali dengan Kiai Wahab Jombang, senior sekaligus gurunya selama menuntut ilmu di tanah Hijaz. Karena hubungan baik mereka, KH Abdul Chalim kemudian dipercaya sebagai pengajar di Nahdlatul Wathan yang bertempat di Kampung Kawatan VI Surabaya.
Selain mengajar, KH Abdul Chalim juga dipercaya sebagai pengatur administrasi dan inisiator kegiatan belajar mengajar serta pembuka forum-forum diskusi. Sebagai seorang santri Pasundan yang pandai berkidung dan menguasai ilmu balaghoh (sastra Arab), KH Abdul Chalim kemudian banyak sekali menciptakan syair-syair berbahasa Arab untuk memompa semangat perjuangan santri-santri yang tergabung di dalam Nahdlatul Wathan. Salah satu karyanya adalah mahakarya sejarah NU yang berjudul Sejarah Perjuangan Kiayi Haji Abdul Wahab yang berbentuk nadhom (syair).
Melalui aktivitasnya di Nahdlatul Wathan inilah KH Abdul Chalim menerapkan gagasan-gagasan keagamaannya tentang interaksi sosial, solidaritas politik, serta wawasan kebangsaan dalam masyarakat. Selain Nahdlatul Wathan, juga tercatat sebagai pengajar di Madrasah Tashwirul Afkar, Surabaya.
Sebagai sesama santri di tanah Hijaz, KH Abdul Chalim kemudian menjadi partner KH Abdul Wahab Hasbullah dalam menyelenggarakan pertemuan ulama Nusantara yang disebut Komite Hijaz. Saat itu, KH Abdul Chalim bertugas menemui dan mengirim undangan kepada seluruh ulama atau kiai di Pulau Jawa dan Madura. Atas kerja kerasnya, pertemuan Komite Hijaz akhirnya terlaksana pada 31 Januari 1926 di Surabaya. Pertemuan Komite Hijaz inilah yang kemudian menjadi cikal bakal lahirnya NU. Saat NU resmi dideklarasikan pada tanggal itu juga, KH Abdul Chalim duduk dalam kepengurusan sebagai Katib Tsani. Karena itu, ia merupakan tokoh yang banyak mencatat dokumen-dokumen strategis dalam setiap sejarah penting bangsa ini, terutama sejarah pergerakan NU.
Selama mengabdi di Surabaya, berkali-kali KH Abdul Chalim pulang ke Majalengka untuk menyampaikan kabar-kabar terbaru dari Surabaya yang kala itu merupakan pusat perjuangan kaum santri dalam membebaskan bangsa dari belenggu penjajahan dan kebodohan umat. Setiap pulang ke Majalengka, KH Abdul Chalim selalu mendatangi rumah-rumah penduduk untuk memperkenalkan, mengajarkan, dan menyebarluaskan paham Ahlussunnah wal Jamaah. Ia juga selalu membagi-bagikan gambar-gambar dan surat kabar Soeara Nahdlatoel Oelama kepada masyarakat di daerah Majalengka dan sekitarnya.
Pada 1942, ketika ormas-ormas Islam dibekukan oleh pemerintah penjajahan Jepang, KH Abdul Chalim mendapat dua tantangan besar di daerahnya. Intervensi Jepang kepada para pemuda untuk bergabung dalam pasukan militer Jepang dan kebanggaan para pemuda untuk menjadi komunis. Ini menjadi dilema yang sangat sulit dihadapi.