Который быстрее: несколько единственных ВСТАВОК или несколько-строк ВСТАВЛЯЮТ?

Отправить как можно больше вставок по сети за один раз. Фактическая скорость вставки должна быть такой же, но вы увидите прирост производительности за счет снижения нагрузки на сеть.

В общем, чем меньше количество обращений к базе данных, тем лучше (что означает быстрее, эффективнее), поэтому постарайтесь закодировать вставки таким образом, чтобы минимизировать доступ к базе данных. Помните, что если вы не используете пул соединений, каждый доступ к базе данных должен создавать соединение, выполнять sql и затем разрывать соединение. Немного накладных расходов!

Основным фактором будет то, используете ли вы механизм транзакций и включена ли у вас автоматическая фиксация.

Автоматическая фиксация включена по умолчанию, и вы, вероятно, захотите оставить ее включенной; поэтому каждая вставка, которую вы делаете, выполняет свою собственную транзакцию. Это означает, что если вы выполняете одну вставку для каждой строки, вы собираетесь фиксировать транзакцию для каждой строки.

Предполагая, что один поток, это означает, что серверу необходимо синхронизировать некоторые данные с диском для КАЖДОЙ СТРОКИ. Ему нужно дождаться, пока данные попадут в постоянное хранилище (надеюсь, на оперативную память с батарейным питанием в вашем RAID-контроллере). По своей сути это довольно медленно и, вероятно, станет ограничивающим фактором в этих случаях.

Я, конечно, предполагаю, что вы используете транзакционный движок (обычно innodb) И что вы не изменили настройки для уменьшения долговечности.

Я также предполагаю, что вы используете один поток для выполнения этих вставок. Использование нескольких потоков немного запутывает ситуацию, потому что некоторые версии MySQL имеют рабочую групповую фиксацию в innodb - это означает, что несколько потоков, выполняющих свои собственные фиксации, могут совместно использовать одну запись в журнал транзакций, что хорошо, потому что это означает меньшее количество синхронизаций с постоянным хранилищем .

С другой стороны, в результате вы ДЕЙСТВИТЕЛЬНО ХОТИТЕ ИСПОЛЬЗОВАТЬ многострочные вставки.

Существует предел, превышение которого приводит к обратным результатам, но в большинстве случаев это не менее 10 000 строк. Так что, если вы объедините их в группы до 1000 строк, вы, вероятно, в безопасности.

Если вы используете MyISAM, есть масса других вещей, но я не буду утомлять вас ими. Мир.

Использование нескольких потоков немного запутывает ситуацию, потому что некоторые версии MySQL имеют рабочую групповую фиксацию в innodb - это означает, что несколько потоков, выполняющих свои собственные фиксации, могут совместно использовать одну запись в журнал транзакций, что хорошо, потому что это означает меньшее количество синхронизаций с постоянным хранилищем .

С другой стороны, в результате вы ДЕЙСТВИТЕЛЬНО ХОТИТЕ ИСПОЛЬЗОВАТЬ многострочные вставки.

Существует предел, превышение которого приводит к обратным результатам, но в большинстве случаев это не менее 10 000 строк. Так что, если вы объедините их в группы до 1000 строк, вы, вероятно, в безопасности.

Если вы используете MyISAM, есть масса других вещей, но я не буду утомлять вас ими. Мир.

Использование нескольких потоков немного запутывает ситуацию, потому что некоторые версии MySQL имеют рабочую групповую фиксацию в innodb - это означает, что несколько потоков, выполняющих свои собственные фиксации, могут совместно использовать одну запись в журнал транзакций, что хорошо, потому что это означает меньшее количество синхронизаций с постоянным хранилищем .

С другой стороны, в результате вы ДЕЙСТВИТЕЛЬНО ХОТИТЕ ИСПОЛЬЗОВАТЬ многострочные вставки.

Существует предел, превышение которого приводит к обратным результатам, но в большинстве случаев это не менее 10 000 строк. Так что, если вы объедините их в группы до 1000 строк, вы, вероятно, в безопасности.

Если вы используете MyISAM, есть масса других вещей, но я не буду утомлять вас ими. Мир.

Существует предел, при превышении которого результат становится контрпродуктивным, но в большинстве случаев это не менее 10 000 строк. Так что, если вы объедините их в группы до 1000 строк, вы, вероятно, в безопасности.

Если вы используете MyISAM, есть масса других вещей, но я не буду утомлять вас ими. Мир.

Существует предел, при превышении которого результат становится контрпродуктивным, но в большинстве случаев это не менее 10 000 строк. Так что, если вы объедините их в группы до 1000 строк, вы, вероятно, в безопасности.

Если вы используете MyISAM, есть масса других вещей, но я не буду утомлять вас ими. Мир.

Как правило, множественная вставка будет медленнее из-за накладных расходов на соединение. Выполнение нескольких вставок одновременно снизит накладные расходы на каждую вставку.

В зависимости от того, какой язык вы используете, вы можете создать пакет на своем языке программирования / сценария перед переходом в базу данных и добавить каждую вставку в пакет. Тогда вы сможете выполнить большой пакет, используя одну операцию подключения. Вот пример на Java.

Вы можете:

• Проверить, что автоматическая фиксация отключена
• Открыть соединение
• Отправить несколько пакетов вставок в одной транзакции (размер примерно 4000-10000 строк? Вы видите)
• Закрыть соединение

В зависимости от того, насколько хорошо ваш сервер масштабируется (его окончательно устраивает PostgreSQl , Oracle и ] MSSQL ), проделайте то же самое с несколькими потоками и множественными соединениями.