Azure Data Factory HTTP-коннектор для анализа веб-страницы
Не зная реальной статистики о производительности, _list.reverse() изменяет сам список, тогда как reversed(_list) возвращает итератор, готовый пересечь список в обратном порядке. Это большая разница.
Если это не проблема, object.reverse() кажется мне более читаемым, но, возможно, у вас есть определенные требования к скорости. И если reverse() не принадлежит 80% программного обеспечения, потребляющего ресурсы, я бы не стал беспокоиться (как общее правило).
1 ответ
Я думаю, что в этот момент вы должны смотреть на v2 из ADF.
Что касается вашего варианта использования, я не вижу, как Http Connector разрешит «разбор» веб-страницы. Этот соединитель может помочь вам взять содержимое страницы (выполнив запрос GET) и перенести его на место для хранения, например blob. И тогда вы можете инициировать какую-то специальную деятельность с кодом, который имеет логику для преобразования html страницы в каталог структурированных данных, которые вам понравятся. Затем вы можете передать это другому конвейеру, который требует преобразований ML.
В основном вам придется самостоятельно реализовать логику анализа, IMHO ADF может помочь вам в организации и движении но не с «парсинговой» стороной вещей.