Как извлечь данные из URL с помощью Regex (знать имя переменной)?

Относится к @ t.m.adam

Вы можете использовать следующее регулярное выражение для извлечения из исходного HTML. Используйте флаг DOTALL , чтобы разрешить перевод строк. User-Agent требуется в заголовках.

import requests
import re
import json

url = 'https://www.icra.in/Rationale/Index?CompanyName=20%20Microns%20Limited'
headers = {    
    'User-Agent' : 'Mozilla/5.0'
}
r = requests.get(url, headers = headers)
data = re.search('var Model =(.*?);\s+Ratinoal', r.text, flags=re.DOTALL).group(1)
result = json.loads(data)
for item in result['LstrationaleDetails']:
    print(item)