подсказка wpf, не показанная на usercontrol или его детях

Вы проверили опцию "chunksize" для фрейма данных? Он используется для разбиения больших наборов данных на более мелкие, если они не помещаются в память - вот хорошее объяснение, где они хотят прочитать данные 10G + в кадр данных: http://acepor.github.io/2017/ 08/03 / с использованием-chunksize / .

Вы можете попробовать приведенный ниже код, но я думаю, что вам нужно, чтобы read_csv сначала работал для вашего конкретного формата файла, и выяснил имена / номера столбцов. Вы также можете настроить размер куска; чем больше, тем быстрее. Это все равно будет идти медленно, так как это вложенный цикл.

import pandas as pd
import numpy as np

outfile = 'tab1_tab2_match.dat'
df1 = pd.read_csv('tab1.dat', encoding='ascii', chunksize=1)

col1 = 0
col1_1 = 1

col2 = 0
col2_1 = 1

writeheader= True
mode = 'w'

for cm in df1:
    df2 = pd.read_csv('tab2.dat', encoding='ascii', chunksize=100000)
    for chunk in df2:
        chunk.columns = ['col2', 'col2_1' ]
        chunk['del1'] = np.abs(chunk.iloc[:, col1] - cm.iloc[0, col1_1])
        chunk['del2'] = np.abs(chunk.iloc[:, col2] - cm.iloc[0, col2_1])
        chunk['dist'] = np.sqrt((chunk['del1'] * np.cos(chunk['del2'])) ** 2 + chunk['del2'] ** 2)

        tmp = chunk[chunk['dist'] <= 0.00008333]
        tmp['col1', 'col1_2'] = cm.iloc[0, [col1, col1_1]]
        tmp = tmp ['']

        tmp['col2', 'col2_1', 'col1', 'col2_1'].to_csv(outfile, mode=mode, header=writeheader)
        mode = 'a'
        writeheader = False