Avant Kissin' Dynamite, les membres du groupe formaient le groupe Blues Kids en 2002. Jusqu'en 2007, Blues Kids joue essentiellement du blues. Ils sortiront même deux albums : en 2004 avec We Go the Way of Rock n Roll, et en 2007 avec Blues Kids. En 2007, ils décident de changer le nom du groupe, et donc changer de style, car, selon les propos du chanteur dans une interview accordée au site Heavy News, « ils avaient grandi » et donc avaient « d'autres envies ». Dans cette même interview, le chanteur raconte comment le nom du groupe a été adopté : alors qu'ils étaient assis tous ensemble en quête d'un nom de groupe, le téléphone du batteur Andreas Schnitzer sonne. La sonnerie était la chanson Kissin' Dynamite du groupe AC/DC. C'est ce nom qui est retenu pour le nom du groupe, car il sonnait, selon Hannes Braun, « dangereux, puissant et explosif. »