Как использовать потоки с селеном для очистки веб-страниц?

Это проблема, если у вас заканчивается дисковое пространство. Решение состоит в том, чтобы освободить место на жестком диске.

Пожалуйста, прочитайте больше, чтобы получить объяснение:

Если вы используете MySQL в LINUX, проверьте свободное место на жестком диске с помощью свободного диска команды :

 df 

, если вы получаете что-то вроде этого:

Filesystem           1K-blocks      Used Available Use% Mounted on
/dev/sda2              5162828   4902260         0 100% /
udev                    156676        84    156592   1% /dev
/dev/sda3              3107124     70844   2878444   3% /home

Тогда это проблема, и теперь у вас есть решение!

Так как mysql .sock хочет быть созданным в папке mysql, которая почти всегда находится под корневой папкой, не может быть достигнута из-за нехватки места.

Если вы периодически используете команду ls в каталоге mysql (в openSUSE 11.1 находится в / var / lib / mysql), вы получите что-то вроде:

hostname:/var/lib/mysql #
.protected  IT     files        ibdata1             mysqld.log  systemtemp
.tmp        NEWS   greekDB      mysql               mysqld.pid  test
ARXEIO      TEMP1  ib_logfile0  mysql.sock          polis
DATING      deisi  ib_logfile1  mysql_upgrade_info  restore

Файл mysql.sock часто появляется и исчезает (вы должны попробовать выделить с ls, чтобы попасть в экземпляр с помощью mysql .sock файл в папке).

Это вызвано нехваткой дискового пространства.

Надеюсь, что я помогу некоторым людям !!!! Спасибо!

1
задан Caleb Goodman 7 March 2019 в 02:09
поделиться

1 ответ

Чтобы ответить на ваш «более широкий» вопрос, вы должны использовать asyncio в сочетании с requests или аналогичными пакетами. Достойное руководство для этого можно найти здесь здесь . Потоки не созданы для выполнения асинхронных HTTP-запросов.

Я не могу показать вам, как писать код с помощью asyncio, потому что я сам не знаю, как его использовать, и для его завершения, вероятно, потребуются сотни строк кода.

Если вы хотите, чтобы быстрое решение увеличило производительность с помощью уже имеющегося кода, вам следует установить в браузере селена режим без заголовка :

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

options = Options()
options.headless = True
driver = webdriver.Chrome('YOUR_CHROMEDRIVER_PATH_HERE', chrome_options=options)
0
ответ дан Caleb Goodman 7 March 2019 в 02:09
поделиться
Другие вопросы по тегам:

Похожие вопросы: