Ответ выше помог мне разобраться с решением для динамически добавленных EditTexts:
editText.setImeOptions(EditorInfo.IME_FLAG_NO_EXTRACT_UI);