Diriwayatkan, suatu hari Abu Yazid Basthami berkunjung ke negeri Hijaz. Setelah beberapa hari, terdengar oleh warga Madinah. Beliau diundang untuk berkunjung ke Madinah. Warga Madinah banyak yang mengagumi dan penasaran ingin bertemu secara langsung dengan Abu Yazid. Selama itu mereka hanya mendengarkan pandangan dan ujaran Abu Yazid dari mulut ke mulut yang sedikit banyak menggelitik, mengentak, bikin kaget, dan kadang kontroversial.
Lalu Abu Yazid datang ke Madinah secara sembunyi-sembunyi. Diam-diam, tanpa diketahui masyarakat, Abu Yazid memasuki Madinah. Namun, masyarakat justru berbondong-bondong berdatangan dan memasuki Madinah dengan sikap memuliakan untuk sowan dan bertemu tokoh yang diidolakan, Abu Yazid. Saat itu mereka berkumpul dan bertemu Abu Yazid di pasar. Pada saat itu bertepatan pada bulan Ramadan.
Mereka ngerumpi, sibuk dengan basa-basinya. Tak disangka, Abu Yazid mengeluarkan sepotong roti dari saku bajunya dan memakannya di hadapan mereka, padahal pada saat itu bulan Ramadan. Melihat itu, semua orang berbalik badan dan meninggalkan Abu Yazid sendirian. Yang tersisa hanya satu muridnya saja.