Несовместимый размер между batch_size и target_q_values ​​в DQN

Поверните строку в список; то вы можете изменить символы в отдельности. Затем вы можете вернуть его вместе с .join:

s = 'a;b;c;d'
slist = list(s)
for i, c in enumerate(slist):
    if slist[i] == ';' and 0 <= i <= 3: # only replaces semicolons in the first part of the text
        slist[i] = ':'
s = ''.join(slist)
print s # prints a:b:c;d