Il termine “pagano” è stato usato per la prima volta dai cristiani nel IV secolo per riferirsi a persone che vivevano nell'Impero Romano e praticavano religioni pre-cristiane diverse dall'ebraismo.
Essendo una religione prevalentemente urbana e cosmopolita dopo la promulgazione, da parte di Costantino, della libertà religiosa nell'Impero nel 313, il cristianesimo si distingueva anche a livello geografico dalle religioni praticate e preservate nelle zone rurali.
Il termine latino paganus significa infatti rurale, rustico, e quindi “illetterato” o “privo di conoscenze”. Il paganesimo, come spiega Owen David, era considerato “la religione dei contadini”.
Durante l'Impero romano, essere pagani significava appartenere a una certa classe – prevalentemente rurale, periferica e provinciale se paragonata alla popolazione cristiana dell'Impero, concentrata soprattutto in importanti centri urbani, come mostrano le prime Lettere di Paolo, che si rivolgeva agli abitanti di Tessalonica, Corinto e Roma.
Ciò implicava anche che si praticasse anche comunemente il sacrificio rituale, alla maniera greco-romana antica. Naturalmente la gente non si definiva pagana al momento di descrivere la propria religione. Era un termine usato - nella maggior parte dei casi in senso denigratorio e come parte di un processo di autodefinizione - dai cristiani.
Pagus era un termine amministrativo romano, che designava la più piccola unità amministrativa in una provincia o una suddivisione rurale di un territorio tribale (magari anche ostile), includendo villaggi, fattorie e roccaforti. Il termine si affermò nel Medioevo come unità geografica, anche nel periodo carolingio.
Nel suo testo Late Antiquity, lo storico Peter Brown nota come l'adozione del termine paganus fosse prevalentemente un costume cristiano latino. Altrove nel mondo cristiano, il termine hellene (ovvero “greco”, in riferimento alle antiche pratiche greco-romane) o “gentile” (in greco ethnikos) restò in uso per riferirsi ai non cristiani, magari senza le sfumature dispregiative di “pagano”.