Köyün ismi, yapılan büyüden dolayı Azem olarak anılıyor. Büyüyü ise köye göçen bir çobanın yaptığına inanılıyor.
Anlatılana göre, Türkiye'nin doğusundan köye göç eden bir çobana parası verilmez ve çoban da köye azem büyüsünü yapar.
Çobanın yaptığına inanılan büyü sonrasında köye artık kimse giremiyor!
İnanışa göre, Azem köyüne yapılan büyünün etkisi halen devam ediyor. Öyle ki, köye giren hayvanlarla bir daha karşılaşılmıyor. Bu sebeple de insanlar köyden uzak duruyor.
Bir dönem yaşandığı iddia edilen bir hikaye de köye bir imamın girmesi. İmam, Azem köyüne girdikten sonra geri döndüğünde konuşabilme kabiliyetini kaybetmiş.
Azem, Arapçada yüce, ulu ve büyük anlamlarının dışında savunucu anlamına da geliyor.
Yapıldığına inanılan büyünün savunucu anlamı taşıdığı düşünüldüğüne göre, neyi ve kimi savunduğu ayrı bir soru işareti.
Azem isimli korku filmi serisinin ikinci filmi olan Azem: Cin Garezi de, Sakarya'da yaşanan bu korku dolu hikayeden esinlenerek yapılmış.
Film, Sakarya'daki Azem köyünde bir baba ve kızının başından geçen olayları anlatıyor.
Bu iddiaların yanı sıra köyün çorak olduğu ve elektrik ile su sıkıntısından kaynaklı köylülerin bölgeyi terk ettiği ifade ediliyor.
