Вы можете попробовать передать фактические типы вместо строк.
import pandas as pd
from datetime import datetime
headers = ['col1', 'col2', 'col3', 'col4']
dtypes = [datetime, datetime, str, float]
pd.read_csv(file, sep='\t', header=None, names=headers, dtype=dtypes)
Но это будет очень сложно диагностировать, без каких-либо ваших данных, чтобы возиться с.
И действительно, вы, вероятно, хотите, чтобы панды анализировали даты на TimeStamps, так что это может быть:
pd.read_csv(file, sep='\t', header=None, names=headers, parse_dates=True)