Дело не только в магии. Большинство модов ломает скрипт этого квеста, из-за чего Вилкас считает, что ГГ пользуется магией, хотя на самом деле нет.
Если у вас стоят моды на какие-то добавления или изменения эффектов заклинаний, изменения боевой системы, графические плюшки, и вообще многое из того, что дает вашему персонажу какие-либо пассивные эффекты - придется их отключить. Даже банальное свечение цвета глаз персонажа может считаться Вилкасом проявлением магии, наверное.
В ванили с этим квестом никогда не возникает проблем, если бить Вилкаса любым холодным оружием.
Но я не копаюсь в скриптах, чтобы с точностью подсказать, какие именно моды ломают его, а какие - нет. Я только помню что мне приходилось выключать все моды, кроме графических, сдавать квест, а потом подключать их обратно.
Если же прописывать выполнение этого квеста через консоль, то станет еще хуже, и есть риск что Вилкас сломается и до конца игры будет вести себя неадекватно.