Как обрабатывать сообщения MSMQ параллельно

<?php
function xss_clean($data)
{
// Fix &entity\n;
$data = str_replace(array('&amp;','&lt;','&gt;'), array('&amp;amp;','&amp;lt;','&amp;gt;'), $data);
$data = preg_replace('/(&#*\w+)[\x00-\x20]+;/u', '$1;', $data);
$data = preg_replace('/(&#x*[0-9A-F]+);*/iu', '$1;', $data);
$data = html_entity_decode($data, ENT_COMPAT, 'UTF-8');

// Remove any attribute starting with "on" or xmlns
$data = preg_replace('#(<[^>]+?[\x00-\x20"\'])(?:on|xmlns)[^>]*+>#iu', '$1>', $data);

// Remove javascript: and vbscript: protocols
$data = preg_replace('#([a-z]*)[\x00-\x20]*=[\x00-\x20]*([`\'"]*)[\x00-\x20]*j[\x00-\x20]*a[\x00-\x20]*v[\x00-\x20]*a[\x00-\x20]*s[\x00-\x20]*c[\x00-\x20]*r[\x00-\x20]*i[\x00-\x20]*p[\x00-\x20]*t[\x00-\x20]*:#iu', '$1=$2nojavascript...', $data);
$data = preg_replace('#([a-z]*)[\x00-\x20]*=([\'"]*)[\x00-\x20]*v[\x00-\x20]*b[\x00-\x20]*s[\x00-\x20]*c[\x00-\x20]*r[\x00-\x20]*i[\x00-\x20]*p[\x00-\x20]*t[\x00-\x20]*:#iu', '$1=$2novbscript...', $data);
$data = preg_replace('#([a-z]*)[\x00-\x20]*=([\'"]*)[\x00-\x20]*-moz-binding[\x00-\x20]*:#u', '$1=$2nomozbinding...', $data);

// Only works in IE: <span style="width: expression(alert('Ping!'));"></span>
$data = preg_replace('#(<[^>]+?)style[\x00-\x20]*=[\x00-\x20]*[`\'"]*.*?expression[\x00-\x20]*\([^>]*+>#i', '$1>', $data);
$data = preg_replace('#(<[^>]+?)style[\x00-\x20]*=[\x00-\x20]*[`\'"]*.*?behaviour[\x00-\x20]*\([^>]*+>#i', '$1>', $data);
$data = preg_replace('#(<[^>]+?)style[\x00-\x20]*=[\x00-\x20]*[`\'"]*.*?s[\x00-\x20]*c[\x00-\x20]*r[\x00-\x20]*i[\x00-\x20]*p[\x00-\x20]*t[\x00-\x20]*:*[^>]*+>#iu', '$1>', $data);

// Remove namespaced elements (we do not need them)
$data = preg_replace('#</*\w+:\w[^>]*+>#i', '', $data);

do
{
    // Remove really unwanted tags
    $old_data = $data;
    $data = preg_replace('#</*(?:applet|b(?:ase|gsound|link)|embed|frame(?:set)?|i(?:frame|layer)|l(?:ayer|ink)|meta|object|s(?:cript|tyle)|title|xml)[^>]*+>#i', '', $data);
}
while ($old_data !== $data);

// we are done...
return $data;
}
16
задан Gabe Moothart 31 March 2011 в 17:38
поделиться

5 ответов

Я много раз делал MSMQ (включая мобильные реализации), и вы правы в характеристике «синхронного рабочего процесса». Дело не в том, что вы не можете принимать различные конверты сообщений и обрабатывать их в разных ядрах с помощью TPL ... ограничивающим фактором является чтение / запись в очередь ... по своей сути последовательная операция. Вы не можете отправлять 8 сообщений одновременно (например, компьютер с 8 ядрами).

У меня была похожая потребность (без использования пространства имен System.Messaging), и я решил ее с помощью справки из книги, которую я прочитал «Параллельное программирование в Microsoft.NET» Кэмпбелла и Джонсона.

Ознакомьтесь с их главой «параллельные задачи» и, в частности, с частью использования глобальной очереди, которая взаимодействует с локальными очередями для каждого потока для обработки работы (т. Е. TPL), которые используют алгоритм «кражи работы» для балансировки нагрузки. Я смоделировал свое решение, частично, по их примеру. Финальная версия моей системы имела огромную разницу в производительности (от 23 сообщений в секунду до более 200).

В зависимости от того, сколько времени потребуется вашей системе, чтобы перейти от 0 до 80 000, вы захотите выбрать один и тот же дизайн и распределить его по нескольким серверам (каждый с несколькими процессорами и несколькими ядрами). Теоретически моей установке потребовалось бы чуть меньше 7 минут, чтобы отшлифовать все 80K, поэтому, добавив второй компьютер, можно было бы сократить это примерно до ~ 3 минут и 20 секунд, и т. Д., И т. Д., И т. Д. логика кражи работы.

Пища для размышлений…

Краткое редактирование: Кстати, компьютер представляет собой рабочую станцию ​​Dell T7500 с двухъядерным процессором Xeons @ 3GHz, 24 ГБ ОЗУ, 64-разрядная версия Windows 7 Ultimate.

11
ответ дан BonanzaDriver 31 March 2011 в 17:38
поделиться

NServiceBus имеет отличную концепцию для этой самой проблемы. Это называется Дистрибьютор . Идея состоит в том, что распространитель может переслать работу, которую необходимо выполнить, и распределить ее по любому количеству работающих дочерних узлов. В зависимости от типа выполняемой работы, например, тяжелые вычисления против записи на диск, вы можете распределить их по нескольким процессам или даже по нескольким машинам.

3
ответ дан Simon 31 March 2011 в 17:38
поделиться

Вот как я это делаю (изменяя код на лету, чтобы не было орфографических ошибок):

for (int i = 0; i < numberOfSimultaneousRequests; i++)
            priorityQueue.BeginReceive(TimeSpan.FromDays(30), state, callback);

и обратный вызов выглядит примерно так:

private void ProcessMessage(IAsyncResult asyncResult)
    {
        try
        {
            Message msg = priorityQueue.EndReceive(asyncResult);
            //Do something with the message
        }
        finally
        {
            priorityQueue.BeginDequeue(null, ProcessMessage);//start processing another one
        }
2
ответ дан Ventsyslav Raikov 31 March 2011 в 17:38
поделиться

Просто пытаясь сделать что-то похожее, tpl, похоже, может генерировать какое-то исключение безопасности потока, когда он сталкивается с физическими проблемами, например, попытаться создать sqlconnection за пределами forech tpl и использовать его в теле цикла - он выдал исключение для меня. Я создаю очередь перед входом в тело, перечисляя по списку строк, и кажется, что все в порядке, мой код обрабатывал 10000 элементов постоянно за 500 мс, используя обмен сообщениями 1way на i7 2500 8gb и локальный msmq

1
ответ дан Dvr 31 March 2011 в 17:38
поделиться

Я нашел полное решение в блоге под названием CodeRonin. Мне кажется, что это единственный полный пример во всем Интернете. Спасибо, CodeRonin!

http://code-ronin.blogspot.de/2008/09/msmq-transactional-message-processing.html

1
ответ дан Olaf 31 March 2011 в 17:38
поделиться
Другие вопросы по тегам:

Похожие вопросы: