Selain mengajar mengaji, sehari-hari Habib Ali al-Idrus memerankan diri sebagai juru kunci makam kuno Syekh Maulana Yusuf al-Baghdi al-Maghribi. Tugas itu dijalankan dengan sepenuh hati hingga wafatnya pada pada 9 Ramadhan 1493 H atau 19 Juni 1982. Tokoh yang meninggal pada usia 109 tahun ini kemudian dimakamkan di samping makam kuno Syekh Maulana Yusuf al-Baghdi al-Maghribi. Sejak itu, dua makam ini disebut “makam keramat kembar” dan “wali kembar”, dua wali yang diakui sebagai bagian dari Wali Pitu. Kedua makam kembar ini terletak di Desa Bungaya Kangin, Kecamatan Bebandem, Kabupaten Karangasem(Amlapura), tidak jauh dari Jalan Raya Subangan arah ke utara, jalan tembus menuju ke Singaraja dari Desa Temukus. Dari Singaraja berjarak ± 6-7 km.
Semasa hidup, Habib Ali memiliki tiga istri. Istri pertama memiliki delapan anak. Saat ini yang hidup tinggal dua orang, Habib Muchdor dan Habib Umar. Istri kedua memiliki lima anak, masih tiga anak yang hidup, yaitu Yik Agil, Syarifah Salbiyah, dan Yik Toha. Istri ketiga tidak dikaruniai anak.
Kini, yang menggantikan peran sebagai juru kunci makam kembar keramat tersebut adalah Yik Alwi Alaydrus. Menurut cerita, makam kembar keramat tersebut dibangun atas prakarsa putra keenam Habib Ali, Habib Muchdor di tahun 1989. Saat itu Habib Muchdor bersama adiknya, Abdul Rahman, langsung bertindak selaku penjaga makam. Selanjutnya penjagaan makam diwariskan kepada adik-adiknya, Habib Umar, kemudian kepada Abdul Rahman Alaydrus dan Habib Muchdor Alaydrus. Setelah Abdul Rahman wafat, dan Habib Muchdor sudah lanjut usia, posisi penjaga makam diserahkan kepada Yik Alwi Alaydrus.