Le groupe a été formé lors de l'été 1994 par le bassiste Torsten Plorin et par le guitariste Matthias Mineur. Le batteur, Arved Mannott, et le chanteur, Klaus Dirks, ont été rapidement recruté et ils ont commencé à jouer avec Crossroads, C.I.T.A. et Pink Cream 69. En 1996, Oliver Fuhlhage est devenu le deuxième guitariste du groupe. En fait, son son allait parfaitement avec le sens mélodique de Mob Rules. Lors de l'automne de la même année, ils ont produit un EP, qui a pu attiré l'attention des amateurs et des compagnies. Lors de l'été 1998, ils ont signé avec Limb Music et ils ont pu faire leur premier album Savage Land, qui a été mis en vente en mars 1999 autour du globe. Ils ont reçu de bonnes critiques et ils ont pu faire des tournées avec des groupes de la même compagnie qu'eux, comme Ivory Tower.