1634 yılında Merzifon'un Marınca köyünde doğdu. Babası'nın yakın arkadaşı Köprülü Mehmed Paşa tarafından korunup yetiştirildi. Medrese eğitimi gördü. Klasik kültürle beslenerek, üstün zekası ve yetenekleri sayesinde hızla yükseldi. Köprülü Mehmed Paşa'ya damat oldu.

Uzun seferler için İstanbul'dan uzaklaşan Fazıl Ahmed Paşa'ya yıllarca sadaret kaymakamı olarak vekalet etti. 1676 yılında Fazıl Ahmed Paşa'nın ölümü üzerine, 41 yaşında iken sadrazamlığa getirildi. En büyük hayali Kanuni devrinin güç ve itibarını Osmanlı Devleti'ne yeniden kazandırmak olan Merzifonlu Kara Mustafa Paşa, hayatını bu amaca adadı. Osmanlı-Rus Savaşı'nda padişahla birlikte sefere katıldı.

Zamansız giriştiği ve sorumluluğunu tek başına yüklendiği İkinci Viyana Kuşatması büyük bir bozgunla sonuçlandı. Bu bozgundan sonra idam edildi, Belgrad'da gömüldü. İstanbul içinde ve dışında yaptırdığı birçok hayır eseri vardır. Kendisinden sonra da ailesinden bir çok devlet adamı yetişti.