Лучшая практика: файл MySQL Импорта в PHP; запросы разделения

Can you use LOAD DATA INFILE?

If you format your db dump file using SELECT INTO OUTFILE, this should be exactly what you need. No reason to have PHP parse anything.

Can't you install phpMyAdmin, gzip the file (which should make it much smaller) and import it using phpMyAdmin?

EDIT: Well, if you can't use phpMyAdmin, you can use the code from phpMyAdmin. I'm not sure about this particular part, but it's generaly nicely structured.

Одностраничный PHPMyAdmin - Adminer - всего один файл PHP-скрипта. проверка : http://www.adminer.org/en/

что вы думаете по поводу:

system("cat xxx.sql | mysql -l username database"); 

Уже ответили: Загрузка .sql файлов из PHP Также:

• http://webxadmin.free.fr/article/import-huge-mysql-dumps-using-php-only-342.php
• http://www.phpbuilder.com/board/showthread.php?t=10323180
• http://forums.tizag.com/archive/index.php?t-3581.html

Когда StackOverflow выпустили свой ежемесячный дамп данных в формате XML, я написал PHP-скрипты для загрузки его в базу данных MySQL. Я импортировал около 2.2 гигабайт XML за несколько минут.

Моя техника заключается в том, чтобы подготовить() оператор INSERT с указанием места расположения параметров для значений столбцов. Затем используйте XMLReader для зацикливания XML элементов и execute() моего подготовленного запроса, подключая значения для параметров. Я выбрал XMLReader, потому что это потоковое устройство чтения XML; оно читает входной XML инкрементально, а не требует загрузки всего файла в память.

Вы также можете читать CSV-файл по одной строке за раз с помощью fgetcsv().

Если Вы импортируете в таблицы InnoDB, я рекомендую запускать и фиксировать транзакции явно, чтобы уменьшить накладные расходы на автокомимиссию. Я коммитирую каждые 1000 строк, но это произвольно.

Я не собираюсь публиковать код здесь (из-за лицензионной политики StackOverflow), но в псевдокоде:

connect to database
open data file
PREPARE parameterizes INSERT statement
begin first transaction
loop, reading lines from data file: {
    parse line into individual fields
    EXECUTE prepared query, passing data fields as parameters
    if ++counter % 1000 == 0,
        commit transaction and begin new transaction
}
commit final transaction

Написание этого кода в PHP не является ракетостроением, и он работает довольно быстро, когда используются подготовленные заявления и явные транзакции. Эти возможности недоступны в устаревшем расширении mysql PHP, но вы можете использовать их, если используете mysqli или PDO_MySQL.

Я также добавил такие удобные вещи, как проверка ошибок, отчеты о прогрессе и поддержку значений по умолчанию, когда файл данных не содержит ни одного из полей.

Я написал свой код в PHP-классе абстрактном, который я подклассом для каждой таблицы, которую мне нужно загрузить. Каждый подкласс объявляет столбцы, которые он хочет загрузить, и сопоставляет их с полями в XML файле данных по имени (или по позиции, если файл данных CSV).

]Экспорт[

]Первым шагом является получение входных данных в нормальном формате для разбора при экспорте. Из вашего вопроса Похоже, что вы имеете контроль над экспортом этих данных, но не над импортом.[

~: mysqldump test --opt --skip-extended-insert | grep -v '^--' | grep . > test.sql

]Это дамп базы данных теста, исключающий все строки комментариев и пустые строки, в test.sql. Также отключает расширенные вставки, означающие, что в каждой строке есть одно утверждение INSERT. Это поможет ограничить использование памяти во время импорта, но со скоростью импорта.[

]Импорт[

]Скрипт импорта так же прост:[

<?php

$mysqli = new mysqli('localhost', 'hobodave', 'p4ssw3rd', 'test');
$handle = fopen('test.sql', 'rb');
if ($handle) {
    while (!feof($handle)) {
        // This assumes you don't have a row that is > 1MB (1000000)
        // which is unlikely given the size of your DB
        // Note that it has a DIRECT effect on your scripts memory
        // usage.
        $buffer = stream_get_line($handle, 1000000, ";\n");
        $mysqli->query($buffer);
    }
}
echo "Peak MB: ",memory_get_peak_usage(true)/1024/1024;

]В этом случае будет задействован абсурдно малый объем памяти, как показано ниже:[

daves-macbookpro:~ hobodave$ du -hs test.sql 
 15M    test.sql
daves-macbookpro:~ hobodave$ time php import.php 
Peak MB: 1.75
real    2m55.619s
user    0m4.998s
sys 0m4.588s

]Это говорит о том, что вы обработали mysqldump размером 15 МБ с пиковым использованием оперативной памяти 1. 75 МБ всего за 3 минуты.[

]Alternate Export[

]Если у вас достаточно большой объем памяти и это слишком медленно, вы можете попробовать это, используя следующий экспорт:[

~: mysqldump test --opt | grep -v '^--' | grep . > test.sql

]Это позволит вставить расширенные вставки, которые вставляют несколько строк в один запрос. Вот статистика для одной и той же базы данных:[

daves-macbookpro:~ hobodave$ du -hs test.sql 
 11M    test.sql
daves-macbookpro:~ hobodave$ time php import.php 
Peak MB: 3.75
real    0m23.878s
user    0m0.110s
sys 0m0.101s

]Обратите внимание, что она использует более 2-х раз больше оперативной памяти при 3.75 Мб, но занимает примерно 1/6 часть времени. Предлагаю попробовать оба метода и посмотреть, какой из них подходит.[

]Правка:[

]Мне не удалось добиться буквального появления новой строки в выводе mysqldump с использованием любого из типов полей CHAR, VARCHAR, BINARY, VARBINARY и BLOB. Если же у вас есть поля BLOB/BINARY, то на всякий случай используйте, пожалуйста, следующее:[

~: mysqldump5 test --hex-blob --opt | grep -v '^--' | grep . > test.sql

Я столкнулся с той же проблемой. Я решил это с помощью регулярного выражения:

function splitQueryText($query) {
    // the regex needs a trailing semicolon
    $query = trim($query);

    if (substr($query, -1) != ";")
        $query .= ";";

    // i spent 3 days figuring out this line
    preg_match_all("/(?>[^;']|(''|(?>'([^']|\\')*[^\\\]')))+;/ixU", $query, $matches, PREG_SET_ORDER);

    $querySplit = "";

    foreach ($matches as $match) {
        // get rid of the trailing semicolon
        $querySplit[] = substr($match[0], 0, -1);
    }

    return $querySplit;
}

$queryList = splitQueryText($inputText);

foreach ($queryList as $query) {
    $result = mysql_query($query);
}

Вы можете использовать phpMyAdmin для импорта файла. Даже если он большой, просто используйте каталог конфигурации UploadDir , загрузите его туда и выберите на странице импорта phpMyAdmin. Когда обработка файлов приближается к пределам PHP, phpMyAdmin прерывает импорт, снова показывает страницу импорта с предопределенными значениями, указывающими, где продолжить импорт.