Il sufismo emerge nel record storico come un insieme di pratiche, vocaboli e formazioni sociali all'interno dell'Islam primitivo piuttosto che come un singolo momento fondante. Il consenso accademico colloca il periodo formativo in modo ampio tra l'VIII e il X secolo d.C., nelle città cosmopolite del primo califfato abbaside come Bassora, Kufa e Baghdad (VIII-IX secolo). Gli aderenti, al contrario, spesso fanno risalire l'origine del sufismo al modello profetico del Profeta Muhammad e ai primi asceti le cui pratiche interiori leggono come continuazioni dell'esempio del Profeta. I nomi storicamente attestati associati alla fase più antica includono Hasan al-Basri (642–728 d.C.), un predicatore ascetico a Bassora le cui critiche all'attaccamento mondano e l'enfasi sul pentimento sono ampiamente riconosciute dagli studiosi come influenti sui successivi vocaboli sufi.
Pratiche concrete che in seguito diventano emblematiche — ascetismo (zuhd), dhikr intensivo (ricordo) e rigore etico — appaiono nella letteratura hadith e nelle compilazioni biografiche dell'VIII-X secolo; gli storici notano che questi elementi circolavano sia tra i letterati urbani che tra gli asceti del deserto. Una tensione illuminante appare già in queste fonti precoci: alcune comunità enfatizzavano la rinuncia al mondo e la solitudine, mentre altre coltivavano l'amore affettivo e la guida sociale all'interno delle città. Questa tensione — ascetismo solitario contro santità socialmente radicata — continua a plasmare le formazioni sufi.
La figura di Rabia al-Adawiyya (tradizionalmente datata alla fine dell'VIII secolo) occupa un posto importante nella comprensione di sé della tradizione: le hagiografie sufi successive la presentano come esemplificazione dell'amore appassionato e devozionale (mahabba) per Dio indipendentemente dalla speranza per il paradiso o dalla paura dell'inferno. Gli studiosi trattano tali hagiografie con cautela: mentre la precisa storicità delle parole di Rabia è oggetto di dibattito, la sua immagine cristallizza un ideale devozionale che molti sufi successivi adottano esplicitamente. Un dato verificabile di questo periodo è la circolazione dei discorsi ascetici nelle opere dei primi esegeti e nel milieu basrano già nei primi anni 700.
Nel IX e X secolo, il termine "sufi" inizia ad apparire nella letteratura biografica e giuridica; Junayd di Baghdad (morto c. 910) diventa associato a un tentativo di articolare un misticismo sobrio e teologicamente difendibile (sahw contro sukr, vigilanza contro ebbrezza estatica). La scuola di Junayd illustra una transizione formativa in cui l'esperienza personale di Dio è inquadrata in modi compatibili con le categorie teologiche sunnite — uno sviluppo storico che gli studiosi hanno documentato attraverso l'esame dei primi circoli di Baghdad e dei dibattiti giuridici registrati nelle fonti classiche.
I contorni istituzionali che in seguito caratterizzano il sufismo — catene di iniziazione (silsila), logge organizzate (khanqah, zawiya, tekke) ed esercizi spirituali definiti — prendono forma più chiara tra l'XI e il XIII secolo. Questo periodo segna l'emergere di insegnanti nominati che rivendicano l'autorizzazione attraverso catene spirituali che risalgono al Profeta; i correnti malamatite o anti-ascetiche marocchine appaiono anch'esse e provocano polemiche. Un fatto specifico e verificabile è che il termine tariqa (percorso o ordine) è ben attestato nelle fonti già nel periodo medievale successivo come modo per identificare genealogie spirituali organizzate.
La geografia gioca un ruolo formativo. Nel mondo iraniano orientale, Khurasan e Transoxiana ospitano reti che producono figure come quelle che in seguito ispirano l'orientamento naqshbandi; in Anatolia e nel Mediterraneo orientale l'interazione con le tradizioni ascetiche cristiane bizantine configura idiomi devozionali distintivi. Nel Nord e nell'Ovest dell'Africa, le tendenze sufi sono attestati tra l'XI e il XIII secolo e si cristallizzano in ordini come i Qadiriyya e in seguito i Tijaniyya. Queste traiettorie regionali sottolineano un punto comparativo: il sufismo non è monolitico ma una famiglia di percorsi correlati, ciascuno che negozia le grammatiche religiose locali mentre rivendica continuità con la pietà musulmana primitiva.
Il ruolo dei testi nei primi secoli è complesso. Mentre i sufi successivi si basano su un insieme di scritti didattici ed esoterici, le prime comunità trasmettevano molto a voce e per esemplificazione: detti, storie di prove spirituali e indicazioni pratiche. Parallelamente alla trasmissione orale, l'apparizione di opere di esegesi mistica — commentari che leggono i versetti coranici alla luce degli stati interiori — cresce a partire dal IX secolo. Gli studiosi hanno sottolineato che l'interazione tra trasmissione orale e scritta rende la formazione precoce sia dinamica che difficile da ricostruire con precisione.
Una seconda tensione notevole è quella tra il sufismo e la giurisprudenza islamica. In molte regioni i sufi mantengono relazioni strette con i giuristi; in altre, sorgono conflitti quando pratiche estatiche o venerazione dei santi sembrano sfidare le norme. Queste tensioni sono attestati in registri giudiziari, fatwa e scritti polemici da Baghdad medievale a Istanbul ottomana, fornendo prove concrete che il posto dei mistici all'interno della legge islamica è stato negoziato nel corso dei secoli.
Entro la fine dell'era medievale, la visibilità sociale del sufismo si espande: il patrocinio dei governanti, l'istituzione di grandi ospizi e fondazioni caritatevoli, e l'integrazione dei sharif sufi nella vita politica rendono il sufismo un'importante istituzione sociale. L'ordine mevlevi a Konya, associato al poeta del XIII secolo Jalal al-Din Rumi (1207–1273), e l'ordine shadhili nel Nord Africa e nel Maghreb sono esempi di come genealogie spirituali distinte si siano cristallizzate. Un evento verificabile è la fondazione della comunità mevlevi a Konya dopo la morte di Rumi nel 1273, che dimostra come il cerchio di una figura carismatica abbia istituzionalizzato la pratica devozionale.
In sintesi, le origini del sufismo sono meglio comprese come un processo prolungato e regionalmente variegato che attinge all'ascetismo primitivo, all'imitazione profetica, alla speculazione filosofica e all'adattamento sociale. Sia gli aderenti che gli storici riconoscono gli VIII-X secoli come formativi; gli aderenti enfatizzano la continuità ininterrotta con la spiritualità profetica, mentre gli storici documentano la graduale istituzionalizzazione e diversificazione regionale attraverso i secoli medievali.