Stolen Babies была сформирована еще в старших классах школы Fratellis. Группа названна из одной пародии сделанной солисткой Dominique Persi, которая была тетаральной и художественной частью группы. Первый диск (демо) был выпущен в 2002 годую Stolen Babies не любят когда их называют группой как Oingo Boingo, Fishbone, т.к. они известны своим тетральным сценическим искусством и энергичными действиями и конечно же необычной музыкой. Официальный альбом вышел в 2006 году под названием - There Be Squabbles Ahead