Моя компания рассматривает использование веб-сервиса как среднего из процесса ETL. Однако я не думаю, что веб-сервис вписался в эту цель по нескольким причинам: 1. веб-сервис мог возможно использовать большую память при генерации большого xml. 2. xml является чрезмерно увеличенным в размерах форматом. 3. возможно тайм-аут, если сервер занимает огромное количество времени для генерации данных 4. ограничение размера файла? (для окон это - 2 ГБ, если мне не изменяет память),
Я не эксперт по веб-сервису, таким образом, мне нужны Ваши мнения.:)
Спасибо.
В инструменте веб-служб есть множество технологий пролить, чтобы обойти все проблемы, которые вы разрабатываете. Существует потоковое измельчение XML, есть форматы сжатия XML для доставки, протоколы, которые имеют дело с фрагментацией и равноправием, и существует множество систем хранения, которые могут хранить терабайты на терабайтах данных.
Если с помощью веб-службы вы представите себе домашнее задание для первокурсников колледжа, состоящее из интерфейса, который принимает единственный аргумент glop с сериализованной таблицей в нем 2 ГБ, тогда все ваши аргументы действительны. Но если вы передадите свои требования опытной команде, знающей концепции, задействованные в WS-ReliableMessaging и WS-Transaction , тогда нет причин не использовать процесс ETL вокруг веб-служб. . Обратите внимание, что я не защищаю протоколы SOAP как таковые, но я защищаю знание и понимание задействованных концепций.
Теперь, когда сказано, имеет ли смысл ETL-процесс, ориентированный на веб-службы, это зависит от целый набор других причин. Однако ваше опровержение технологий веб-сервисов не выдерживает критики.
Но если вы передадите свои требования опытной команде, знающей концепции, задействованные в WS-ReliableMessaging и WS-Transaction , тогда нет причин не использовать процесс ETL вокруг веб-служб. . Обратите внимание, что я не защищаю протоколы SOAP как таковые, но я защищаю знание и понимание задействованных концепций.Теперь, когда сказано, имеет ли смысл ETL-процесс, ориентированный на веб-службы, это зависит от целый набор других причин. Однако ваше опровержение технологий веб-сервисов не выдерживает критики.
Но если вы передадите свои требования опытной команде, знающей концепции, задействованные в WS-ReliableMessaging и WS-Transaction , тогда нет причин не использовать процесс ETL вокруг веб-служб. . Обратите внимание, что я не защищаю протоколы SOAP как таковые, но я рекомендую знание и понимание задействованных концепций.Теперь, когда сказано, имеет ли смысл ETL-процесс, ориентированный на веб-службы, это зависит от целый набор других причин. Однако ваше опровержение технологий веб-сервисов не выдерживает критики.
Обратите внимание, что я не защищаю протоколы SOAP как таковые, но я рекомендую знание и понимание задействованных концепций.Теперь, когда сказано, имеет ли смысл ETL-процесс, ориентированный на веб-службы, это зависит от целый набор других причин. Однако ваше опровержение технологий веб-сервисов не выдерживает критики.
Обратите внимание, что я не защищаю протоколы SOAP как таковые, но я защищаю знание и понимание задействованных концепций.Теперь, когда сказано, имеет ли смысл ETL-процесс, ориентированный на веб-службы, это зависит от целый набор других причин. Однако ваше опровержение технологий веб-сервисов не выдерживает критики.
Я бы не стал использовать веб-службу для задачи ETL. Существуют специализированные инструменты для этой задачи (например, Ab Initio, Informatica и т. Д.), Которые лучше подходят.
Если у вас большой объем данных, я бы сказал, что цена дополнительной задержки, которую будет иметь сеть вводить было бы непомерно.
Это действительно зависит от того, что вы делаете и как вы пытаетесь этого достичь. В общем, веб-сервисы требуют большего внимания и поддержки, чем вы обычно вкладываете в процесс ETL, но они также могут быть на удивление эффективными при решении этой задачи. Я не получил достаточно подробностей для вашего сценария, чтобы сказать, сработает ли он.
Я работал над веб-службами, которые передают и получают документы размером 100+ МБ, некоторые из них закодированы в XML, некоторые нет, и делают это за секунды (на закрытом локальном сеть). Эти услуги требовали значительной настройки и планирования, но они хорошо работали для нашего сценария и позволяли широкому кругу клиентов подключаться и передавать различные объемы данных через довольно стандартный интерфейс. Это отличалось от некоторых других заданий ETL, которые у нас были, поскольку задание было специфичным для каждого клиента, и его нужно было настраивать и поддерживать для каждого клиента.
Все зависит от того, что вы делаете и каковы ваши ограничения.
Если вы собираетесь следовать по этому пути, сядьте и обрисуйте процесс от начала до конца, включая то, как вы хотите, чтобы клиенты подключались, убедитесь, что данные были получены, и убедитесь, что работа завершена. Рассмотрите некоторые сценарии, клиентов и типы передаваемых данных, а затем определите, что может потребоваться. Сравните это с тем, что уже доступно в других инструментах, и сколько времени у вас есть на это.
Если вы собираетесь следовать по этому пути, сядьте и опишите процесс от начала до конца, включая то, как вы хотите, чтобы клиенты подключались, убедитесь, что данные были получены, и убедитесь, что задание завершено. Рассмотрите некоторые сценарии, клиентов и типы передаваемых данных, а затем определите, что может потребоваться. Сравните это с тем, что уже доступно в других инструментах, и сколько времени у вас есть на это.
Если вы собираетесь следовать по этому пути, сядьте и опишите процесс от начала до конца, включая то, как вы хотите, чтобы клиенты подключались, убедитесь, что данные были получены, и убедитесь, что задание завершено. Рассмотрите некоторые сценарии, клиентов и типы передаваемых данных, а затем определите, что может потребоваться. Сравните это с тем, что уже доступно в других инструментах, и сколько времени у вас есть на это.
Мне действительно интересно, почему ваша компания не рассматривает возможность использования реального инструмента ETL, подобного тем, о которых упоминал Даффимо в своем ответе или, Talend или CloverETL, если открытые исходные коды являются опцией.
Я не эксперт по ETL продуктам и не проверял их все, но я уверен, что это что-то для рассмотрения.
.Веб-службы просто отлично подходят для задач ETL. Помните, что каждая задача будет бесплатно обрабатываться в своем потоке, и вам гарантирована корректная очистка между запросами. Использование веб-сервисов внутри чего-то вроде Tomcat было бы не так тяжело, как вы думаете.
Если вас беспокоит раздувание XML, подумайте о формате JSON.
.Ищите MTOM, для начала, что позволяет передавать в веб-сервис произвольные не XML-данные.