Написать установщик WPF Wix

Mmm сначала ваши идентификационные атрибуты должны быть уникальными, ваш код, вероятно, будет

<form>
<input class='roles' name='roles' type='checkbox' value='1' />
<input class='roles' name='roles' type='checkbox' value='2' />
<input class='roles' name='roles' type='checkbox' value='3' />
<input class='roles' name='roles' type='checkbox' value='4' />
<input class='roles' name='roles' type='checkbox' value='5' />
<input type='submit' value='submit' />
</form>

. Для вашей проблемы:

if($('.roles:checkbox:checked').length == 0)
  // no checkbox checked, do something...
else
  // at least one checkbox checked...

НО, помните, что проверка формы JavaScript является только показательным, все проверки ДОЛЖНЫ выполняться на стороне сервера.