Действительно ли веб-сервис подходит для цели ETL?

В инструменте веб-служб есть множество технологий пролить, чтобы обойти все проблемы, которые вы разрабатываете. Существует потоковое измельчение XML, есть форматы сжатия XML для доставки, протоколы, которые имеют дело с фрагментацией и равноправием, и существует множество систем хранения, которые могут хранить терабайты на терабайтах данных.

Если с помощью веб-службы вы представите себе домашнее задание для первокурсников колледжа, состоящее из интерфейса, который принимает единственный аргумент glop с сериализованной таблицей в нем 2 ГБ, тогда все ваши аргументы действительны. Но если вы передадите свои требования опытной команде, знающей концепции, задействованные в WS-ReliableMessaging и WS-Transaction , тогда нет причин не использовать процесс ETL вокруг веб-служб. . Обратите внимание, что я не защищаю протоколы SOAP как таковые, но я защищаю знание и понимание задействованных концепций.

Теперь, когда сказано, имеет ли смысл ETL-процесс, ориентированный на веб-службы, это зависит от целый набор других причин. Однако ваше опровержение технологий веб-сервисов не выдерживает критики.

Но если вы передадите свои требования опытной команде, знающей концепции, задействованные в WS-ReliableMessaging и WS-Transaction , тогда нет причин не использовать процесс ETL вокруг веб-служб. . Обратите внимание, что я не защищаю протоколы SOAP как таковые, но я защищаю знание и понимание задействованных концепций.

Теперь, когда сказано, имеет ли смысл ETL-процесс, ориентированный на веб-службы, это зависит от целый набор других причин. Однако ваше опровержение технологий веб-сервисов не выдерживает критики.

Но если вы передадите свои требования опытной команде, знающей концепции, задействованные в WS-ReliableMessaging и WS-Transaction , тогда нет причин не использовать процесс ETL вокруг веб-служб. . Обратите внимание, что я не защищаю протоколы SOAP как таковые, но я рекомендую знание и понимание задействованных концепций.

Теперь, когда сказано, имеет ли смысл ETL-процесс, ориентированный на веб-службы, это зависит от целый набор других причин. Однако ваше опровержение технологий веб-сервисов не выдерживает критики.

Обратите внимание, что я не защищаю протоколы SOAP как таковые, но я рекомендую знание и понимание задействованных концепций.

Теперь, когда сказано, имеет ли смысл ETL-процесс, ориентированный на веб-службы, это зависит от целый набор других причин. Однако ваше опровержение технологий веб-сервисов не выдерживает критики.

Обратите внимание, что я не защищаю протоколы SOAP как таковые, но я защищаю знание и понимание задействованных концепций.

Теперь, когда сказано, имеет ли смысл ETL-процесс, ориентированный на веб-службы, это зависит от целый набор других причин. Однако ваше опровержение технологий веб-сервисов не выдерживает критики.

Я бы не стал использовать веб-службу для задачи ETL. Существуют специализированные инструменты для этой задачи (например, Ab Initio, Informatica и т. Д.), Которые лучше подходят.

Если у вас большой объем данных, я бы сказал, что цена дополнительной задержки, которую будет иметь сеть вводить было бы непомерно.

Это действительно зависит от того, что вы делаете и как вы пытаетесь этого достичь. В общем, веб-сервисы требуют большего внимания и поддержки, чем вы обычно вкладываете в процесс ETL, но они также могут быть на удивление эффективными при решении этой задачи. Я не получил достаточно подробностей для вашего сценария, чтобы сказать, сработает ли он.

Я работал над веб-службами, которые передают и получают документы размером 100+ МБ, некоторые из них закодированы в XML, некоторые нет, и делают это за секунды (на закрытом локальном сеть). Эти услуги требовали значительной настройки и планирования, но они хорошо работали для нашего сценария и позволяли широкому кругу клиентов подключаться и передавать различные объемы данных через довольно стандартный интерфейс. Это отличалось от некоторых других заданий ETL, которые у нас были, поскольку задание было специфичным для каждого клиента, и его нужно было настраивать и поддерживать для каждого клиента.

Все зависит от того, что вы делаете и каковы ваши ограничения.

Если вы собираетесь следовать по этому пути, сядьте и обрисуйте процесс от начала до конца, включая то, как вы хотите, чтобы клиенты подключались, убедитесь, что данные были получены, и убедитесь, что работа завершена. Рассмотрите некоторые сценарии, клиентов и типы передаваемых данных, а затем определите, что может потребоваться. Сравните это с тем, что уже доступно в других инструментах, и сколько времени у вас есть на это.

Если вы собираетесь следовать по этому пути, сядьте и опишите процесс от начала до конца, включая то, как вы хотите, чтобы клиенты подключались, убедитесь, что данные были получены, и убедитесь, что задание завершено. Рассмотрите некоторые сценарии, клиентов и типы передаваемых данных, а затем определите, что может потребоваться. Сравните это с тем, что уже доступно в других инструментах, и сколько времени у вас есть на это.

Если вы собираетесь следовать по этому пути, сядьте и опишите процесс от начала до конца, включая то, как вы хотите, чтобы клиенты подключались, убедитесь, что данные были получены, и убедитесь, что задание завершено. Рассмотрите некоторые сценарии, клиентов и типы передаваемых данных, а затем определите, что может потребоваться. Сравните это с тем, что уже доступно в других инструментах, и сколько времени у вас есть на это.

Мне действительно интересно, почему ваша компания не рассматривает возможность использования реального инструмента ETL, подобного тем, о которых упоминал Даффимо в своем ответе или, Talend или CloverETL, если открытые исходные коды являются опцией.

1. В целом они хороши для ETL целей :)
2. Построение собственного решения звучит как переизобретение колеса.
3. Многие из них имеют функции, ориентированные на веб-сервисы (см. Экспорт задания в качестве веб-сервиса в вики Talend или CloverETL Server HTTP Launch Services[113577], например).

Я не эксперт по ETL продуктам и не проверял их все, но я уверен, что это что-то для рассмотрения.

.

Веб-службы просто отлично подходят для задач ETL. Помните, что каждая задача будет бесплатно обрабатываться в своем потоке, и вам гарантирована корректная очистка между запросами. Использование веб-сервисов внутри чего-то вроде Tomcat было бы не так тяжело, как вы думаете.

Если вас беспокоит раздувание XML, подумайте о формате JSON.

.

Ищите MTOM, для начала, что позволяет передавать в веб-сервис произвольные не XML-данные.