Goat The Head peut être vu comme un side-project de membres d'Atrox et The Apparatus. Ce projet a pour but de donner à ses musiciens un autre horizon musical dans lequel ils peuvent s'éclater. En ce sens, ce groupe n'est pas un projet sérieux à prendre au pied de la lettre. Et pour aller plus loin dans le délire, le groupe crée tout un concept autour des hommes des cavernes, d'où le terme de "Caveman" Death Metal.

C'est en 2007 que sort le premier album Simian Supremacy, un album aux sonorités très roots, voire old school avec une volonté de sonner très "primitif" pour coller au mieux au concept.