Преобразуйте поля даты и времени в файле истории Chrome (sqlite) к читаемому формату
Работа над сценарием для сбора пользовательской истории браузера с метками времени (образовательная установка). История Firefox 3 сохранена в sqlite файле, и штампы находятся во время эпохи UNIX... получая их, и преобразовывание в читаемый формат через команду SQL в Python довольно просто:
sql_select = """ SELECT datetime(moz_historyvisits.visit_date/1000000,'unixepoch','localtime'),
moz_places.url
FROM moz_places, moz_historyvisits
WHERE moz_places.id = moz_historyvisits.place_id
"""
get_hist = list(cursor.execute (sql_select))
Chrome также хранит историю в sqlite файле.. но это - метка времени истории, по-видимому, отформатирован как число микросекунд с полуночи UTC от 1 января 1601....
Как это может установить метку времени быть преобразованным в читаемый формат как в примере Firefox (как 23.01.2010 11:22:09)? Я пишу сценарий с Python 2.5.x (версия на OS X 10.5) и импортирую sqlite3 модуль....
3 ответа
Возможно, это не самый питонический код в мире, но вот решение: Обманули, сделав поправку на часовой пояс (здесь EST), сделав это:
utctime = datetime.datetime(1601,1,1) + datetime.timedelta(microseconds = ms, hours =-5)
Вот функция: Она предполагает, что файл истории Chrome был скопирован из другого аккаунта в /Users/someuser/Documents/tmp/Chrome/History
def getcr():
connection = sqlite3.connect('/Users/someuser/Documents/tmp/Chrome/History')
cursor = connection.cursor()
get_time = list(cursor.execute("""SELECT last_visit_time FROM urls"""))
get_url = list(cursor.execute("""SELECT url from urls"""))
stripped_time = []
crf = open ('/Users/someuser/Documents/tmp/cr/cr_hist.txt','w' )
itr = iter(get_time)
itr2 = iter(get_url)
while True:
try:
newdate = str(itr.next())
stripped1 = newdate.strip(' (),L')
ms = int(stripped1)
utctime = datetime.datetime(1601,1,1) + datetime.timedelta(microseconds = ms, hours =-5)
stripped_time.append(str(utctime))
newurl = str(itr2.next())
stripped_url = newurl.strip(' ()')
stripped_time.append(str(stripped_url))
crf.write('\n')
crf.write(str(utctime))
crf.write('\n')
crf.write(str(newurl))
crf.write('\n')
crf.write('\n')
crf.write('********* Next Entry *********')
crf.write('\n')
except StopIteration:
break
crf.close()
shutil.copy('/Users/someuser/Documents/tmp/cr/cr_hist.txt' , '/Users/parent/Documents/Chrome_History_Logs')
os.rename('/Users/someuser/Documents/Chrome_History_Logs/cr_hist.txt','/Users/someuser/Documents/Chrome_History_Logs/%s.txt' % formatdate)
Модуль SQLite Возвращает DateTime Объекты для полей dateTime, которые имеют способ форматирования для печати читаемых строк, называемых Strftime .
Вы можете сделать что-то подобное, когда у вас есть запись:
for record in get_hist:
date_string = record[0].strftime("%Y-%m-%d %H:%M:%S")
url = record[1]
Это более питонический и дружественный к памяти способ сделать то, что вы описали (кстати, спасибо за начальный код!):
#!/usr/bin/env python
import os
import datetime
import sqlite3
import opster
from itertools import izip
SQL_TIME = 'SELECT time FROM info'
SQL_URL = 'SELECT c0url FROM pages_content'
def date_from_webkit(webkit_timestamp):
epoch_start = datetime.datetime(1601,1,1)
delta = datetime.timedelta(microseconds=int(webkit_timestamp))
return epoch_start + delta
@opster.command()
def import_history(*paths):
for path in paths:
assert os.path.exists(path)
c = sqlite3.connect(path)
times = (row[0] for row in c.execute(SQL_TIME))
urls = (row[0] for row in c.execute(SQL_URL))
for timestamp, url in izip(times, urls):
date_time = date_from_webkit(timestamp)
print date_time, url
c.close()
if __name__=='__main__':
opster.dispatch()
Скрипт можно использовать следующим образом:
$ ./chrome-tools.py import-history ~/.config/chromium/Default/History* > history.txt
Конечно, Opster может быть выброшен, но мне кажется удобным: -)