Tamat SMP, Mahyeldi masuk ke SMA Negeri 1 Bukittinggi. Di sekolah, ia dikenal gampang berbaur sehingga ia terpilih menjadi ketua kelas. Ia juga mencatat prestasi di bidang kepenulisan sehingga gurunya memintanya untuk membuat majalah sekolah. Selain itu, ia aktif dalam kegiatan keagamaan di sekolah. Saat itu, ia telah mengenal aktivis dakwah Islam seperti Hidayat Nur Wahid dan Irwan Prayitno.
Selama SMA, ia masih bekerja dengan berjualan koran pada pagi hari dan menjual kue pada sore hari. Selain itu, ia juga pernah beternak kerbau. Dari hasil jerih payahnya bekerja, ia dapat menabung untuk biaya kuliah. Setamat SMA, ia diterima di Fakultas Pertanian Universitas Andalas. Di sini, jiwa kepemimpinannya kian dikenal. Selama kuliah di Universitas Andalas, ia ikut menggerakan kegiatan dakwah. Aktivitasnya di bidang dakwah mengantarnya bergabung dengan Partai Keadilan Sejahtera (PKS), partai yang dimotori oleh aktivis dakwah di kampus-kampus.
- Terjun ke Politik
Mahyeldi sebagai Wakil Wali Kota Padang meninjau salah satu lokasi di Padang yang terdampak Banjir Padang 2013
Pada pemilihan umum legislatif 2004, Mahyeldi diusung oleh PKS sebagai calon anggota legislatif untuk DPRD Sumatra Barat. Hasil perolehan suara menempatkan PKS sebagai pemenang di Padang. Dari seluruh anggota DPRD Sumatra Barat terpilih, Mahyeldi merupakan peraih suara terbanyak. Ia duduk sebagai Wakil Ketua DPRD Sumatra Barat periode 2004–2009, tetapi mengundurkan diri setelah dilantik sebagai Wakil Wali Kota Padang pada 2009.
Dalam pemilihan umum Wali Kota Padang pertama 2008, Mahyeldi terpilih sebagai wakil wali kota mendampingi Fauzi Bahar. Pasangan ini dilantik pada 18 Februari 2009 untuk periode 2009–2014. Selama berkursi sebagai wakil wali kota, Mahyeldi menggerakkan perkoperasian berbasis syariah di Padang. Ia memprakarsai berdirinya Koperasi Jasa Keuangan Syariah yang memberi akses permodalan dan lapangan kerja bagi warga. Lembaga koperasi ini mengantar Padang meraih penghargaan Bakti Koperasi dan UMKM dari Menteri Koperasi dan UMKM pada peringatan Hari Koperasi ke-66 yang dipusatkan di Nusa Tenggara Barat, 12 Juli 2013.
