Tarekat ini berhulu pada diri Nabi Muhammad SAW yang kemudian mengalir kepada Sayyidina Abu Bakar as-Siddiq R.A, sahabat kesayangan Nabi Muhammad SAW dan khalifahnya yang pertama, yang telah menerima ilmu istimewa seperti diterangkan Nabi Muhammad SAW sendiri, "Tidak ada sesuatu pun yang dicurahkan Allah ke dalam dadaku, melainkan aku mencurahkan kembali ke dalam dada Abu Bakar"

Pola hidup bersahaja yang ditampilkan Abu Bakar ditiru para sufi pada periode selanjutnya. Menurut riwayat, Abu Bakar pernah hidup dengan sehelai kain saja. Ia pernah memegang lidahnya sendiri, seraya berkata, "Lidah inilah yang senantiasa mengancamku". Kemudian untuk menjaga dari berkata-kata yang tidak bermanfaat, Abu Bakar lazim mengulum batu kerikil.

Kedermawanan Abu Bakar juga tak terukur nilainya. Misalnya pada Perang Tabuk, Rasulullah SAW meminta kepada kaum Muslim agar mengorbankan hartanya. Maka datanglah Abu Bakar membawa hartanya dan diletakkannya di antara dua tangan Rasulullah SAW, seraya Rasulullah SAW berkata kepadanya, "Apalagi yang engkau tinggalkan bagi anak-anakmu, wahai Abu Bakar?" Jawabnya sambil tertawa, "Saya tinggalkan bagi mereka Allah dan Rasul-Nya".

Sikap kedermawanan Abu Bakar ini merupakan kerelaan berkorban di jalan Allah. Dia hanya menyandarkan diri kepada Allah dan Rasul-Nya, dan hal ini merupakan sikap kepasrahan yang tinggi yang kemudian dijadikan sebagai teladan bagi para sufi. Di mata para sufi, sikap-sikap Abu Bakar seperti itu merefleksikan ahwal (keadaan) yang selalu disandarkan kepada Allah semata. Inilah, yang oleh kaum sufi dianggap sebagai benih-benih akhlak para sufi.

Oleh sebab itu, kendatipun di abad 1 Hijriah orang Islam belum mengenal istilah tasawuf, tetapi benih-benihnya sudah tampak, seperti pada diri Abu Bakar. Dan pada masa itu banyak sekali ditemui perilaku atau sifat-sifat yang dimiliki Rasulullah SAW dan sahabat-sahabatnya, yang mencirikan pengajaran dan amalan ilmu tasawuf.

Tarekat yang diterima Abu Bakar yang nantinya populer dengan nama Tarekat Naqsyabandiyah Al-Khalidiah telah mengalami pergantian penyebutan beberapa kali. Dalam silsilah keguruan tarekat ini, Sayyidina Abu Bakar As-Siddiq berada pada urutan pertama. Periode antara Sayyidina Abu Bakar as-Siddiq sampai Sayyidi Syaikh Abu Yazid al-Bistami, yang nama aslinya Tayfur ibn Isa ibn Surusyan al-Bistami dan berada pada urutan kelima, dinamakan "Shiddiqiah". Periode antara Syaikh Tayfur sampai Sayyidi Syaikh Abdul Khalik Fajduani, silsilah kesembilan, dinamakan "Tayfuriah". Periode antara Khawajah Abdul Khalik Fajduani yang lahir di daerah Uzbekistan itu sampai Sayyidi Syaikh Bahauddin Naqsyabandi, silsilah kelimabelas, dinamakan "Khawajakaniah". Diambil dari istilah Khwajagan (= tuan guru yang bersilsilah). Periode antara Syaikh Bahauddin Naqsyabandi sampai Sayyidi Syaikh Nashiruddin Ubaidullah Al-Ahrar, silsilah kedelapanbelas, dinamakan "Naqsyabandiyah".

Dalam tahun-tahun terakhir abad ke 10 H/16 M, pusat aktivitas Naqsyabandiyah dan daya tarik intelektualnya bergeser ke India. Sayyidi Syaikh Muaiyiduddin Muhammad Baqibillah, silsilah kedua puluh dua, yang lahir di Kabul (971 - 1012 H/1563 - 1603 M), berpetualang di Transoxiana, Samarqand, Bukhara, Kashmir dan sekitarnya, kemudian datang ke India.

Dalam suatu catatan, dia katakan "tengah membawa benih kesucian (dalam tarekat) dari Samarqand dan Bukhara dan menyemaikannya di tanah subur India." Dalam waktu singkat, lima tahun, dia mencurahkan perhatian yang sama kepada orang awam dan kaum bangsawan Mughal. Dia sampaikan pesan silsilah kepada para ulama, kaum sufi, para malik (tuan tanah) dan manshabdar (pejabat) dengan tingkat keefektifan yang sama. Penglihatannya tajam dalam memilih bakat terbaik di pelbagai area - dari kalangan tokoh politik Nawab Murtadha Khan, di kalangan kaum sufi Syaikh Ahmad Faruqi Sirhindi, dan dari kalangan ulama Syaikh Abd Al-Haqq - adalah murid-murid terkemuka Khawajah Muhammad Baqi.

Tarekat Naqsyabandiyah pada periode antara Syaikh Ubaidullah Al- Ahrar sampai Sayyidi Syaikh Ahmad Faruqi Sirhindi, silsilah kedua puluh tiga, dinamakan "Ahrariah". Periode antara Syaikh Ahmad Al-Faruqi sampai Sayyidi Syaikh Dhiyauddin Khalid Kurdi Al Usmani, silsilah kedua puluh sembilan, dinamakan "Mujaddidiah".

Lalu periode antara Syaikh Khalid Kurdi Al Usmani sampai dewasa ini dinamakan "Khalidiah", atau dikenal dengan Tarekat Naqsyabandiyah Al-Khalidiah.

Setelah itu, tarekat ini tidak mengalami perubahan penyebutan nama. Karena bagi para pengamal tasawuf di masa berikutnya, yang menjadi pusat perhatian adalah ilmu yang diajarkan dan sumber ilmu yang ditunjukkan pada untaian silsilah keguruan. Lalu, setelah Maulana Syaikh Khalid, silsilah keguruan berikutnya berturut-turut adalah Sayyidi Syaikh Abdullah Afandi, Sayyidi Syaikh Sulaiman Qarimi, kemudian Sayyidi Syaikh Sulaiman Zuhdi.

Pada Sayyidi Syaikh Sulaiman Zuhdi, yang berkedudukan di Jabal Qubaisy dan berada pada silsilah ketiga puluh dua, berguru murid-murid yang nanti menjadi penerusnya, yakni Syaikh Usman Fauzi (Jabal Qubaisy), Sayyidi Syaikh M. Hadi (Girikusumo - Jawa Tengah), putra beliau sendiri Sayyidi Syaikh Ali Ridho (Jabal Qubaisy), Sayyidi Syaikh Sulaiman (Huta Pungkut - Sumatera Barat), dan Sayyidi Syaikh Abdul Wahab Rokan (Babussalam-Aceh). Silsilah keguruan selanjutnya berada pada Sayyidi Syaikh Ali Ridho.

...sikap kepasrahan Abu Bakar As-Siddiq yang tinggi dijadikan sebagai teladan bagi para sufi.

Sekembali dari Jabal Qubaisy, Sayyidi Syaikh Sulaiman mengembangkan tarekat ini yang berpusat di Huta Pungkut-Sumatera Barat, dan mendapatkan murid yang sangat cemerlang, yakni Sayyidi Syaikh Muhammad Hasyim Al-Khalidi (Buayan-Sumatera Barat). Sayyidi Syaikh Muhammad Hasyim melawat ke Jabal Qubaisy dan mendapatkan ijazah keguruan pada silsilah ketiga puluh empat. Selanjutnya kepada Sayyidi Syaikh Hasyim Al-Khalidi inilah Sayyidi Syaikh Prof. Dr. H. Kadirun Yahya berguru dan mendapatkan ijazah keguruan Tarekat Naqsyabandiyah Al-Khalidiah dan pemegang silsilah ketiga puluh lima.

Selain dari Sayyidi Syaikh Hasyim, Sayyidi Syaikh Prof. Dr. H. Kadirun Yahya juga mendapatkan ijazah keguruan dari Syaikh Abdul Majid (Batusangkar) dan Syaikh Syahbuddin (Sayurmatinggi) yang keduanya juga pemegang silsilah keguruan Tarekat Naqsyabandiyah Al-Khalidiah namun dari alur silsilah yang berbeda dengan Sayyidi Syaikh Hasyim.

Tarekat Naqsyabandiyah Al-Khalidiah yang diwarisi dan diteruskan oleh Sayyidi Syaikh Prof. Dr. H. Kadirun Yahya berkembang pesat di Indonesia, Malaysia bahkan juga ada Amerika Serikat. Rumah-rumah wirid yang lazim disebut surau tumbuh berkembang hampir 700 tempat. (Baca Mozaik edisi April 2008).

Untuk mengelola tempat-tempat wirid yang tersebar itu, berikut mewadahi aktivitas sosial kemasyarakatannya, maka didirikan Yayasan Prof. Dr. H. Kadirun Yahya yang berpusat di Medan. Yayasan ini menaungi bidang ketarekatan dan lembaga pendidikan, mulai dari TK hingga perguruan tinggi.

Selanjutnya ijazah keguruan Sayyidi Syaikh Prof. Dr. H. Kadirun Yahya, yang oleh para gurunya dijuluki "guru para cerdik pandai," diteruskan oleh putra pertama beliau Syaikh Drs. H. Iskandar Zulkarnain, SH.MH. Kemudian sekarang ini ijazah keguruan tersebut sampai pada putra kedua, Syaikh H. Abdul Khalik Fajduani, SH. Semenjak itu, nama tarekat dari jalur silsilah ini, lazim disebut Tarekat Naqsyabandiyah Al-Khalidiah dalam naungan Yayasan Prof. Dr. H. Kadirun Yahya.

Menurut uraian K.A. Nizami dalam Ensiklopedi Tematis Spiritualitas Islam Manifestasi (2003), Editor: Seyyed Hossein Nasr, sepanjang sejarahnya, Tarekat Naqsyabandiyah memiliki dua karakteristik menonjol yang menentukan peranan dan pengaruhnya; (1) Ketaatan yang ketat dan kuat pada Hukum Islam (syariat) dan Sunnah Nabi. (2) Upaya tekun untuk mempengaruhi kehidupan dan pemikiran golongan penguasa serta mendekatkan negara pada agama.

Tidak seperti tarekat-tarekat sufi lainnya, lanjut Nizami, Tarekat Naqsyabandiyah tidak menganut kebijaksanaan isolasi diri dalam menghadapi pemerintahan yang tengah berkuasa saat itu. Sebaliknya, ia gigih melancarkan ikhtiar dengan pelbagai kekuatan politik agar dapat mengubah pandangan mereka. "Raja adalah jiwa dan masyarakat adalah tubuh. Jika sang Raja tersesat, rakyat akan ikut tersesat." Demikian kutipan pesan yang dikatakan oleh Syaikh Ahmad Sirhindi.*