Namun, meskipun telah menjadi orang istana, Habib Ali bin Abu Bakar al-Hamid tetap tinggal di Desa Kusamba, yang jaraknya kurang lebih 20 kilometer dari istana. Tujuannya, agar Sang Habib tetap bisa dekat masyarakat desa, tetap bisa berdakwah untuk menyebarkan ajaran Islam di lingkungan terdekatnya. Di lingkungan istana pun, di sela-sela kesibukannya sebagai orang kepercayaan raja, Habib Ali bin Abu Bakar al-Hamid juga dengan tekun mendakwahkan ajaran yang dibawanya.
Praktis, untuk bolak-balik dari rumahnya ke istana dan sebaliknya, jarak sejauh 20 kilometer itu ditempuh dengan jalan kaki. Mengetahui perjuangan orang kepercayaannya yang saban hari harus jalan kaki itu, Raja Klungkung kemudian memberi hadiah seekor kuda putih. Kepada Sang Habib, Raja bertitah agar kuda itu ditunggangi jika hendak bertugas ke istana. Dengan demikian, saat pergi-pulang dari rumahnya ke istana, Habib Ali bin Abu Bakar al-Hamid mulai menunggang kuda, tidak lagi berjalan kaki.
Rupanya, kedekatan Raja dengan Sang Habib menimbulkan kecemburuan dan keirian di kalangan pejabat-pejabat istana. Suatu hari, saat pulang dari istana menuju rumahnya dengan menunggang kuda, Sang Habib berpapasan dengan salah seorang putra keluarga kerajaan yang bergelar Mangkubumi. Putra raja ini sedang berjalan bersama-sama dengan temannya. Sang Habib yang sedang menunggang kuda ditanya tentang kuda siapa yang dinaiki. Sang Habib kemudian memberi penjelasan bahwa dirinya bekerja di istana sebagai guru bahasa Sang Raja. Adpun, kuda yang dinaikinya adalah pemberian Sang Raja.
Namun, penjelasan itu tidak bisa diterima oleh Mangkubumi. Anak raja ini memaksa Sang Habib untuk turun dari kudanya dan bersujud memberi hormat layaknya kawula kepada raja. Jika tidak, maka ia akan dihukum. Namun, Sang Habib tidak menjawabnya dan langsung saja pergi meninggalkan mereka menuju ke rumahnya di Kusamba. Keesokan harinya, peristiwa itu dilaporkan kepada Sang Raja. Ia juga bermaksud mengembalikan kudanya lantaran menimbulkan kecemburuan. Namun, Sang Raja menolak dan tetap meminta Sang Habib menunggangi kudanya. Raja menyarankan kepadanya supaya melewati jalur lain yang aman.
