Mustafa Yılmaz,  1967 yılında Ankara ili Çamlıdere İlçesi Örenköy köyünde doğdu. İlk, orta ve lise öğrenimini Ankara’da tamamladı. 1988 yılında Ankara Üniversitesi Siyasal Bilgiler Fakültesi İşletme Bölümü’nden mezun oldu.

Aynı yıl açılan Kaymakam Adaylığı sınavını kazanarak 1989 yılında Çorum Kaymakam Adayı olarak meslek hayatına başladı. 1990-1991 yılları arasında İngiltere’de İngilizce dil eğitimi ve kamu yönetimi kursu aldı.

Daha sonraki yıllarda çeşitli ilçelerde Kaymakamlık, Vali Yardımcılığı ve Sınır Mülki İdare Amirliği görevlerinde bulundu. 2013 yılında İçişleri Bakanlığına Hukuk Müşaviri olarak atandı ve daha sonra 1. Hukuk Müşaviri Yardımcılığı ve İçişleri Bakanlığı İdari ve Mali İşler Daire Başkanlığı görevlerinde bulundu.

2015 yılında 1 ay süreyle Rusya’da Kamu Yönetimi Akademisinde, Kamu Yönetimi kursuna katıldı. 15 Temmuz 2016 sonrası Başbakanlık ve TBMM’ de geçici görevlendirme ile görev yaptı.

2017 yılında da Adalet Meslek Yüksekokulunu bitirdi. 2018 Kasım ayında Moskova Büyükelçiliği İçişleri Müşavirliği görevine atandı. Yaklaşık 3,5 yıllık yurt dışı görevinin ardından Ağustos 2022’de çıkan kararname ile de Tepebaşı Kaymakamlığı görevine atandı.

24 Ağustos 2023 tarihli Resmi Gazetede yayımlanan Cumhurbaşkanlığı Kararnamesi ile Hukuk İşleri Genel Müdürlüğü Hukuk Müşaviri olarak atandı.

Yılmaz, İngilizce ve orta derecede Rusça bilmekte olup, 2 çocuk babasıdır.