Karelia a d'abord sorti une démo éponyme en 2000. Leur premier album Usual Tragedy est sorti en 2004 sur le label allemand Drakkar Records. Il comprend de nombreux arrangements orchestraux qui ont valu à la musique du groupe l'appellation heavy metal symphonique ou simplement metal symphonique. En ce qui concerne les paroles, Usual Tragedy est un concept album dont le protagoniste à connu les deux Guerres Mondiales, a perdu son père durant la première, a perdu sa bien-aimée durant la deuxième, a été témoin de la violence et de la folie des hommes, a fini par perdre la raison et est mort seul et anonyme dans un hôpital. Leur deuxième album Raise, sorti en 2005 également sur Drakkar Records, n'est pas aussi orchestral que son prédécesseur mais renferme des ambiances sombres et mélancoliques que l'on pouvait déjà entendre sur le premier album.