Вы можете просто перемещать все секции answer
и отвечать только на раздел ответа на вопрос о сингле на текущий вопрос, как показано ниже:
$(document).on("click",".ask",function(){
$(".answer").slideUp("500"),$(this).siblings(".answer").slideDown("500");
})