В апреле 2003 года «Сварга» начала работать над записью нового материала. После записи композиций «Правда войны» и «Загадки Сфинкса» Шаман покидает Октябрьский и, соответственно, ряды участников «Сварги». Его место долго не пустует – молодой инициативный бас-гитарист Даймон органично вливается в состав, и группа продолжает интенсивно работать над созданием и записью новых композиций. В мае 2004 года «Сварга» закончила запись второго полноформатника - «Врата Зимы». В этот раз все инструменты записывались живьём и сразу на магнитную ленту. Запись получилась очень сырой, что нисколько не убивало энергии – «Сварга» заметно потяжелела, композиции стали быстрее и агрессивнее, подвальное звучание лишь добавило атмосферности всему опусу. Группа никогда не претендовала на звание true-and-evil, но альбом «Врата Зимы» по общему настроению оказался близок к таковому статусу, несмотря на наличие клавиш.

Осенью 2004-го у музыкантов проблемы с репетиционной базой. В мае 2005 г. «Сварге» всё же удалось за пару недель отрепетировать концертную программу для участия в ежегодном метал-фесте «Железный фарш», проходящем в Уфе. Уфимцы остались довольны выступлением гостей из провинции, превосходная закулисная атмосфера фестиваля настроила участников группы на нужный лад – «Сварга» прозвучала не хуже многих других, более опытных групп… .

В ноябре 2005-го в составе «Сварги» происходят очередные изменения: после конфликтной ситуации ряды группы покидает басист Даймон, решивший все свои творческие силы вложить в возрождённую группу “Anabioz”. На его месте вновь оказывается Дамир, с которым группа успевает отыграть одно выступление в родном Октябрьском, после чего вновь происходит конфликт, и Дамир окончательно и бесповоротно покидает состав «Сварги» и также вливается в “Anabioz”, параллельно организовав новую группу “NeverDie”. 2006 год для группы начался с кардинальных изменений состава. Барабанщик Посох покинул ряды «Сварги», место драммера занял Рамис Рыскулов. На вторую гитару принимается Корт. В период подготовки к фесту «Железный Фарш 7» Малюта заявляет о своём выходе из группы ввиду творческой усталости, его место занимает молодой гитарист Jazz, также занятый в “Anabioz”. В качестве басилы (за неделю до феста) принимается Павел Жуков, с которым в течение одной репетиции было записано демо “TheTower”. «Сварга» весьма неплохо выступила и на седьмом «Фарше», но, однако, не удовлетворилась результатом. В период с сентября 2006-го по июнь 2007-го «Сварга» пополнила репертуар четырьмя новыми композициями и отыграла на трёх фестивалях («Пророк», «Весенний Забой», «5-летие группы “Zerber”), а также на открытии Октябрьского филиала мотоклуба “RoversMC”, после чего в июле в свет небольшим самиздатовским тиражом был выпущен промо-диск «ВЕРЕТРАГОР. Сны Чернобога», посвящённый переименованию группы. На территории СНГ можно насчитать около дюжины групп с одним названием «Сварга», создалась путаница, к тому же, чересчур едкие замечания всяких критиканов порядком надоели, и такое положение дел больше не могло устраивать музыкантов. Со сменой названия в очередной раз обновился и состав участников группы – Jazz решает целиком посвятить себя основной группе “Anabioz”, и на вновь освободившееся место возвращается Малюта. Группа начинает готовить новый материал для записи альбома и последующих выступлений. Осенью 2008 года группа заключила договор с некоммерческим лэйблом "Rigorism Prod.", на котором был выпущен EP "Чёрное Золото", содержащий три новых трека, сырую версию трека "Волчьей Тропою" и ремастерованые версии треков "Король Снегов" и "Сны Чернобога" с предыдущего альбома. В мае 2009 была завершена работа по сведению и мастерингу нового полноформатника "Могила Небес", записанного с участием нового бас/гитариста Anubis.