1964 yılında Rize-Çayeli Kaptanpaşa'da doğdu. İlkokulu Kaptanpaşa'da, ortaokul ve lise tahsilini Rize İmam Hatip Lisesi'nde tamamladı. 1985’te üniversite eğitimi için baba ocağından ayrıldı. 1989’da İstanbul Üniversitesi Hukuk Fakültesi’nden mezun oldu. 1990’da kaymakam adayı olarak mesleğe başladı. Adaylığı sırasında 8 ay İngiltere’de kamu yönetimi alanında çalışmalar yaptı. 1994 yılında Kırıkkale-Karakeçeli Kaymakamı olarak görev yaptı. Aynı yıl vatani görevini yapmak üzere görevine ara verdi. Askerliğin ardından Kırıkkale-Karakeçeli Kaymakamı olarak görevine döndü.
Sırasıyla:
1996-1998 : Şanlıurfa-Harran Kaymakamı,
1998-2000 : Yozgat-Çekerek Kaymakamı,
2000-2002 : Tokat-Reşadiye Kaymakamı,
2002- 2003 : Kırklareli Vali Yardımcılığı,
2003-2004 : İçişleri Bakanlığı Hukuk Müşaviri (Başbakan Danışmanı) görevinde bulundu.
10.06.2004 – 14.06. 2009 yılları arasında Kocaeli Büyükşehir Belediyesi Genel Sekreteri olarak görev yaptı.
Aynı dönemde Yerel Yönetimler Kamu İşverenleri Sendikası’nın (YERELSEN) kurulmasına öncülük etti. Mayıs 2009’a kadar sendikanın genel başkanlık görevini sürdürdü.
02.06.2009 – 02.08.2013 yılları arasında Van Valiliği yaptı.
Van’dan, ‘kuşların, balıkların, çiçeklerin de valisi’ olarak uğurlandı.
02.08.2013’te Bursa Valiliği’ne atandı. Halen Bursa Valiliği görevine devam etmektedir.
Kırgızistan Cumhuriyeti’nin köklü üniversitelerinden Mahmud Kaşgari Barskani Doğu Üniversitesinden "Fahri Doktora" unvanı bulunan Karaloğlu, yüksek çalışma temposu, zekası ve esprili kişiliğiyle nevi şahsına münhasır bir devlet adamı olarak tanınmaktadır. Öğretmen Sevim Hanım'ın eşi, Meral Su ile Elif Meva’nın babasıdır.
