37 yaşındaki Yılmaz, antrenörlük kariyerine eski hocası Şenol Güneş'in yardımcılığıyla başladı.
Futbolculuk döneminde daha önce Güneş'le Trabzonspor ve Beşiktaş'ta çalışan Yılmaz, son olarak Hollanda Eredivisie ekiplerinden Fortuna Sittard forması giymişti.