Les fondateurs du groupe, les frères jumeaux Joel Madden et Benji Madden, ont grandi dans la petite ville de Waldorf, dans le Maryland (« au milieu de nulle part » selon Benji). Tous deux décident de se consacrer à la musique après avoir assisté à un concert des Beastie Boys, en tournée pour leur album Ill Communication. En 1996, ils forment un groupe avec leurs amis d'enfance Paul Thomas (basse) et Aaron Escolopio (batterie). Ils donnent leur premier concert dans la cave d'un ami, devant une vingtaine de personnes. Ils ne jouent alors que des compositions originales, étant d'après Joel « vraiment trop mauvais pour reprendre les titres d'un autre groupe ». Un second guitariste, Billy Martin, les rejoint par la suite.