Другие ответы требуют, чтобы вы передали дополнительную переменную контекста. Но пока вы можете получить доступ к объекту запроса, нет необходимости:
{% extends request.is_ajax|yesno:"app/base_ajax.html,app/base.html" %}
Я нашел, что это намного удобнее.