8 Şubat 1969 tarihinde Ordu’da doğan Yıldız, ilkokulu Ordu Gölköy’de, liseyi Gümüşhane M. Çakmak Yatılı Öğretmen Lisesi’nde tamamladı. Üniversite eğitimini Karadeniz Teknik Üniversitesi (KTÜ) Fen Fakültesi Matematik Bölümü’nde tamamlayan Yıldız, pedagojik formasyon eğitimini Gazi Üniversitesi’nden aldı.1995-97 yılları arasında lise öğretmenliği yapan Yıldız, 1997 yılında inşaat sektörüne adım attı. Yıldız, 2013 yılında da hizmet sektöründe faaliyet gösteren bir firma kurdu. Yıldız, evli ve 3 çocuk babası.
Siyasi faaliyetlerine 1988 yılında KTÜ’de öğrenci derneklerinde başlayan Zafer Yıldız, 1989 yılında Trabzon Belediye Başkanlığı seçimlerinde aktif görev aldı. 2003 yılında Cumhuriyet Halk Partisi’ne üye olan Yıldız, 2004-2011 yılları arasında CHP Nilüfer’de ilçe sekreteri olarak görev yaptı.
Yıldız 2012-2014 yılları arasında da CHP Bursa İl yönetiminde İl Başkan Yardımcısı olarak yer aldı.
