Desa Selorejo berdiri sejak zaman kolonial Belanda, sekitar awal abad ke-20. Nama Selorejo berasal dari dua kata dalam bahasa Jawa, yaitu “selo” yang berarti batu, dan “rejo” yang berarti ramai atau makmur. Nama ini mencerminkan keadaan alam desa yang dipenuhi bebatuan alam di sekitar sungai, sekaligus harapan agar desa selalu ramai penduduk dan sejahtera. Menurut cerita para sesepuh, penduduk pertama Desa Selorejo adalah sekelompok petani dan penggembala yang berasal dari daerah pegunungan sekitarnya. Mereka memilih menetap di wilayah ini karena tanahnya subur, terdapat sumber air dari sungai kecil yang jernih, serta hutan yang menyediakan kayu dan hasil alam. Lambat laun, perkampungan kecil itu berkembang menjadi sebuah desa dengan sistem sosial sederhana yang dipimpin oleh seorang bekel (kepala desa pada masa itu).

Desa Selorejo pada awalnya merupakan gabungan dari tiga desa, yaitu desa Selo, desa Ngrombot, dan desa Prayungan, yang pada akhirnya bergabung menjadi satu menjadi desa Selorejo. Kini desa Selorejo terbagi menjadi 5 dusun, yaitu dusun Selo Kidul, dusun Selo Lor, dusun Selo Kulon, dusun Ngrombot, dan dusun Prayungan. Berdasarkan keterangan dari beberapa tokoh masyarakat desa pada awalnya dipimpin seorang Ki Ageng atau Lurah sekarang Kepala Desa. Dari ketiga desa tersebut diatas sebutan Kepala Desa atau Ki Ageng yang melegenda dimasyarakat sampai sekarang yaitu Kepala Desa Selo: Ki Ageng Selo Condro Yudho, Kepala Desa Ngrombot: Ki Ageng Ngrombot Karto Redjo dan Kepala Desa Prayungan: Ki Ageng Mangun Karto. Dari ketiga tokoh tersebut berdasarkan cerita masyarakat berasal dari Grobogan Jawa Tengah. Sebutan Desa Selo, ada keterkaitannya dengan adanya peninggalan berupa batu yang dipergunakan sebagai alat merendam, membersihkan atau marang pusaka yang biasa disebut Selo Kopo sampai sekarang keberadaannya masih ada dan masih dikeramatkan warga.

Pada masa penjajahan Belanda, Desa Selorejo menjadi salah satu daerah penyuplai hasil bumi seperti padi, jagung, dan ketela. Beberapa warga juga terlibat dalam perjuangan kemerdekaan dengan menjadi kurir atau penyedia logistik bagi para pejuang. Cerita perjuangan ini masih dikenang melalui kisah-kisah lisan yang dituturkan turun-temurun. Setelah Indonesia merdeka, Desa Selorejo mengalami perkembangan pesat. Pemerintah mulai membangun jalan penghubung antar-desa, sekolah dasar, serta pasar kecil yang menjadi pusat kegiatan ekonomi masyarakat. Pertanian tetap menjadi mata pencaharian utama, namun seiring waktu, masyarakat juga mulai menekuni bidang lain seperti perdagangan, kerajinan, dan jasa. Kini, Desa Selorejo telah berubah menjadi desa yang modern namun tetap mempertahankan nilai-nilai tradisi. Gotong royong, kenduri desa, dan upacara adat masih dilestarikan, bersanding dengan teknologi dan pembangunan infrastruktur baru. Desa ini menjadi bukti perjalanan panjang masyarakat dari masa lalu yang sederhana menuju kehidupan yang lebih maju tanpa melupakan akar budaya.