Строка поиска в кадре данных панд

Используйте A.join(B).

Результат:

   X  Y
4  1  3
5  2  4

Присоединение происходит по индексу, а значение из B для ключа 5 отсутствует, поскольку A не содержит этот ключ.

То, что вы должны сделать, это сделать index одинаковым, pandas чувствительным index, что означает, что они проверят индекс при выполнении присваивания

C = pd .DataFrame(A.index,index=A.index) # change here
C .columns = ['I']
C['Y'] = B .loc[C.I, 'Y']
C
Out[770]: 
   I  Y
4  4  3
5  5  4

или просто изменят добавление кода. значения в конце

C['Y'] = B .loc[C.I, 'Y'].values

Так как вы упомянули поиск, давайте использовать lookup

C['Y']=B.lookup(C.I,['Y']*len(C))
#Out[779]: array([3, 4], dtype=int64)