Mercyful Fate connait des débuts troublés, quand Hank Shermann, Michael Denner et King Diamond se rendent compte qu'à eux trois, ils ont un potentiel énorme et qu'il serait dommage de le réduire en jouant dans plusieurs groupes. Timi Hansen et Kim Ruzz viennent compléter cette première mouture.

Une première démo voit le jour en 1982 et se fait remarquer par sa pochette subversive. Sur scène, King Diamond apparait grimé, avec une croix retournée peinte sur le front, son micro est maintenu dans un crucifix renversé fait avec des os prélevés sur un squelette nommé Melissa. La réputation satanique du groupe se répand comme une traînée de poudre et le véritable premier album est attendu de pied ferme. Il sort l'année suivante et se nomme Melissa. Il entame un thème qui sera cher au chanteur, mêlant fantastique, fantasmagorie, horreur et amour dans une histoire qui se déclinera dans divers albums. Il surprend également avec sa façon de chanter, passant du sur-aigu au grave. La musique, elle, est un heavy metal rapide et théâtrale. Beaucoup affirment que Mercyful Fate est l'un des actes de naissance du black metal, avis qui a été largement propagé depuis que Fenriz en a parlé dans ce qu'il considérait comme "true black metal".

Malgré cela, le disque ne sera pas un réel succès, ce qui affirme le statut de groupe culte de Mercyful Fate. Mais les Danois ne désespèrent pas et enchaînent en 1984 avec Don't Break The Oath qui se veut encore plus extrême (il suffit d'écouter la chanson Come To The Sabbath pour se rendre compte que le Fate avait des années d'avances dans le domaine du heavy et qu'il peut avoir un statut avant-gardiste également). A une époque où le son devenait plus cool, Mercyful Fate jouait plus rapidement et plus violemment et pouvait rivaliser avec la vague thrash qui venait des USA. Mais des querelles internes provoqueront un split : Shermann claquera la porte, emportant avec lui les droits du nom du groupe ! L'aventure se poursuivra longtemps sous le nom de King Diamond.

Jusqu'en 1993 en fait, où le groupe se reforme après que le label Roadrunner ait publié une compilation de rareté, Return Of The Vampire. Là, le groupe enchaîne rapidement les disques en gérant les changements de line-upe (In The Shadows en 1993, Time et The Bell Witch en 1994, into The Unknown en 1996, avec un succès relativement mitigé. Dead Again en 1998 et 9 en 1999 viennent compléter la discographie avant un long silence tandis que les albums de King Diamond se succèdent, tandis qu'aucun split officiel ne soit annoncé.