Вы можете преобразовать в строку и извлечь целое число с помощью регулярных выражений.
df['B'].str.extract('(\d+)').astype(int)