Le groupe commença en 1992 sous le nom de Paralysis, ils enregistrèrent une démo sous ce nom. Le groupe jouait alors dans le style brutal death metal. Mais notant qu'un groupe hollandais portait le même nom, ils changèrent de nom pour Phlebotomy en 1993 en référence à la pratique médicale qui leur semblait convenir à la musique Death qu'ils jouaient alors. Ils réalisèrent sous ce nom, deux promo et un EP intitulé Down of Grief qui eut beaucoup de succès pour une démo, elle se vendit, en effet, à près de 2000 exemplaires. Mais leur style évoluant avec le temps, ils sentirent le besoin de changer le nom à nouveau pour On Thorns I Lay (en 1995). Le terme provient d'un passage de Shakespeare, l'idée leur fut suggéré par Efthimis Karadimas le chanteur du groupe grec Nightfall.