Tulisan terdahulu dijelaskan bahwa sumber acuan dan panutan para sufi adalah Rasulullah SAW dan Khulafaur Rasyidin. Diteruskan para Ahlush Sufah, yaitu sekelompok sahabat Rasul yang tinggal di Masjid Nabawi Madinah. Kemudian muncul periode Tabi’in.

Salah satu sufi yang menonjol pada masa Tabi’in adalah Imam Ja’far Ash Shadiq (80 H – 148 H), dan lebih dikenal dengan nama Imam Ja’far Ash Shadiq.  Ayahnya yaitu Imam Muhammad Al Baqir adalah cicit dari Saidina Ali bin Abi Thalib, sedangkan ibunya, Ummu Farwah binti Qasim bin Muhammad adalah cucu dari Saidina Abu Bakar Shidiq.

Di kalangan Syiah Imam Ja’far Ash Shadiq dikenal sebagai imam yang ke-5. Sedangkan dalam silsilah Tarekat Naqsabandiyah, beliau berada dalam silsilah ke-4.

Sungguhpun tarekat baru menonjol dalam dunia Islam pada abad ke-12 M, faktanya tarekat-tarekat tersebut merupakan lanjutan kegiatan kaum sufi terdahulu. Kenyataan ini ditandai dengan setiap silsilah tarekat selalu dihubungkan dengan pendirinya. Setiap tarekat mempunyai silsilah, syekh, kaifiat (metode) dan dzikir. Biasanya syekh atau mursyid mengajar dan membimbing murid-muridnya di asrama latihan rohani bernama rumah suluk atau ribath.

Dalam Ensiklopedi Tematis Spiritualitas Islam (2003), Seyyed Hossein Nasr mengatakan selama 4 sampai 5 abad pertama Islam, pengajaran tasawuf dilakukan oleh seorang guru kepada sekumpulan muridnya. Kemudian sejalan dengan bergulirnya waktu dibutuhkan hadirnya organisasi yang solid yang  berpusat pada seorang guru, kemudian disebut syekh, pir ataupun mursyid.

Selanjutnya, masih menurut Seyyed Hossein Nasr, sembilan abad kemudian, tarekat-tarekat besar muncul. Beberapa  menjadi sangat penting dalam konteks lokal, dan yang lainnya tersebar meluas. Beberapa tarekat hidup singkat, dan ada yang bertahan berabad-abad. Muridnya merambah kemana-mana, bahkan berkembang hingga hari ini.  Diantara tarekat yang bertahan, ada yang masih sanggup menyediakan praktik perjalanan spiritual (suluk), dan ada pula yang hanya mengajarkan doa-doa pendek sufi (tabarruk).

Tradisi pembinaan spiritual seperti itu mula-mula menonjol di Asia Tengah, di Daerah Gilan-Iran Utara, tempat kelahiran Syekh Abd Al Qadir Jilani, kemudian berkembang ke Baghdad, Irak, Turki, Arab Saudi dan sampai ke Indonesia, Malaysia, Singapura, Thailand, Brunei, India, dan Tiongkok.

Pada era yang sama di Maroko dan Al Jazair lahir tarekat Sahrawardiah dan yang lainnya di Afrika , seperti di Sudan dan Nigeria. Proses perkembangan begitu cepat, melalui murid-murid yang telah berpredikat Khalifah dan melalui pedagang-pedagang. Pendeknya, organisasi tarekat mempunyai pengaruh yang sangat besar di Dunia Islam. Sesudah Khalifah, tugas untuk memelihara kesatuan masyarakat Islam beralih ke tangan kaum Sufi.