Выскабливание с просьбами
Прямой причиной ошибки является то, что да, невозможно использовать git-add с открытым репозиторием. Голый репозиторий по определению не имеет рабочего дерева. git-add берет файлы из рабочего дерева и добавляет их в индекс, готовясь к фиксации.
Возможно, вам, возможно, потребуется немного подумать о вашей настройке. GIT_DIR - это каталог репозитория, используемый для всех команд git. Вы действительно пытаетесь создать единый репозиторий для всего, что вы отслеживаете, возможно, повсюду в вашей системе? Git-репозиторий по своей природе отслеживает содержимое одного каталога. Вам нужно будет установить GIT_WORK_TREE путь, содержащий все, что вы хотите отслеживать, а затем вам понадобится .gitignore, чтобы заблокировать все, что вам не интересно отслеживать.
Возможно, вы 'пытается создать репозиторий, который будет отслеживать только c:\www? Затем вы должны поместить его в c:\www (не устанавливайте GIT_DIR). Это нормальное использование git с репозиторией в каталоге .git каталога верхнего уровня вашего «модуля».
Если у вас нет действительно веской причины, я бы рекомендовал придерживаться way git любит работать. Если у вас есть несколько вещей для отслеживания, вы, вероятно, хотите несколько репозиториев!
2 ответа
Вы должны использовать selenium, чтобы получить динамически генерируемый контент. И тогда вы можете разобрать HTML с BS. Например, я проанализировал даты:
from bs4 import BeautifulSoup
from selenium import webdriver
driver = webdriver.Firefox()
driver.get('https://koleo.pl/rozklad-pkp/krakow-glowny/radom/19-03-2019_10:00/all/EIP-IC--EIC-EIP-IC-KM-REG')
soup = BeautifulSoup(driver.page_source, 'lxml')
for div in soup.findAll("div", {"class": 'date custom-panel'}):
date = div.findAll("div", {"class": 'row'})[0].string.strip()
print(date)
Вывод:
wtorek, 19 marca
środa, 20 marca
Вы можете использовать запросы и передавать параметры, чтобы получить JSON для информации о поездах и ценах. Я не разобрал всю информацию, так как это просто, чтобы показать вам, что это возможно. Я разбираю идентификаторы поездов, чтобы иметь возможность делать последующие запросы из информации о ценах, которые связаны идентификаторами с информацией поезда
import requests
from bs4 import BeautifulSoup as bs
url = 'https://koleo.pl/pl/connections/?'
headers = {
'Accept' : 'application/json, text/javascript, */*; q=0.01',
'Accept-Encoding' : 'gzip, deflate, br',
'Accept-Language' : 'en-US,en;q=0.9',
'Connection' : 'keep-alive',
'Cookie' : '_ga=GA1.2.2048035736.1553000429; _gid=GA1.2.600745193.1553000429; _gat=1; _koleo_session=bkN4dWRrZGx0UnkyZ3hjMWpFNGhiS1I3TzhQMGNyWitvZlZ0QVRUVVVtWUFPMUwxL0hJYWJyYnlGTUdHYXNuL1N6QlhHMHlRZFM3eFZFcjRuK3ZubllmMjdSaU5CMWRBSTFOc1JRc2lDUGV0Y2NtTjRzbzZEd0laZWI1bjJoK1UrYnc5NWNzZzNJdXVtUlpnVE15QnRnPT0tLTc1YzV1Q2xoRHF4VFpWWTdWZDJXUnc9PQ%3D%3D--3b5fe9bb7b0ce5960bc5bd6a00bf405df87f8bd4',
'Host' : 'koleo.pl',
'Referer' : 'https://koleo.pl/rozklad-pkp/krakow-glowny/radom/19-03-2019_10:00/all/EIP-IC--EIC-EIP-IC-KM-REG',
'User-Agent' : 'Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36',
'X-CSRF-Token' : 'heag3Y5/fh0hyOfgdmSGJBmdJR3Perle2vJI0VjB81KClATLsJxFAO4SO9bY6Ag8h6IkpFieW1mtZbD4mga7ZQ==',
'X-Requested-With' : 'XMLHttpRequest'
}
params = {
'v' : 'a0dec240d8d016fbfca9b552898aba9c38fc19d5',
'query[date]' : '19-03-2019 10:00:00',
'query[start_station]' : 'krakow-glowny',
'query[end_station]': 'radom',
'query[brand_ids][]' : '29',
'query[brand_ids][]' : '28',
'query[only_direct]' : 'false',
'query[only_purchasable]': 'false'
}
with requests.Session() as s:
data= s.get(url, params = params, headers = headers).json()
print(data)
priceUrl = 'https://koleo.pl/pl/prices/{}?v=a0dec240d8d016fbfca9b552898aba9c38fc19d5'
for item in data['connections']:
r = s.get(priceUrl.format(item['id'])).json()
print(r)