Заполнение базы данных SQLite3 из .txt файла с Python

Что-то вроде следующего должно работать: (не проверено)

# Open database (will be created if not exists)
conn = sqlite3.connect('/path/to/your_file.db')

c = conn.cursor()

# Create table
c.execute('''create table representatives
(parliament text, name text, country text, party_group text, national_party text, position text)''')

f = open("thefile.txt")
for i in f.readlines():
    # Insert a row of data
    c.execute("""insert into representatives
                 values (?,?,?,?,?,?)""", *i.split(", ")) # *i.split(", ") does unpack the list as arguments

# Save (commit) the changes
conn.commit()

# We can also close the cursor if we are done with it
c.close()

Вы можете прочитать данные с помощью модуля csv. Затем вы можете создать sql-запрос insert и использовать метод executemany:

  cursor.executemany(sql, rows)

или использовать add_all, если вы используете sqlalchemy.

Вы спросили, что делает строка create(**dict(zip(fields, row))).

Я не знаю, как ответить непосредственно на ваш комментарий, поэтому попробую ответить здесь.

zip принимает несколько списков в качестве аргументов и возвращает список соответствующих элементов в виде кортежей.

zip(list1, list2) => [(list1[0], list2[0]), (list1[1], list2[1]), .... ]

dict принимает список двухэлементных кортежей и возвращает словарь, отображающий первый элемент (ключ) каждого кортежа на его второй элемент (значение).

create - это функция, принимающая аргументы в виде ключевых слов. Вы можете использовать **some_dictionary для передачи словаря в функцию в качестве аргументов ключевых слов.

create(**{'name':'john', 'age':5}) => create(name='john', age=5)

Как говорит SiggyF и лишь немного отличается от Joschua:

Создайте текстовый файл с вашей схемой, например:

CREATE TABLE politicians (
    Parliament text, 
    Name text, 
    Country text, 
    Party_Group text, 
    National_Party text, 
    Position text
);

Создать таблицу:

>>> import csv, sqlite3
>>> conn = sqlite3.connect('my.db')
>>> c = conn.cursor()
>>> with open('myschema.sql') as f:            # read in schema file 
...   schema = f.read()
... 
>>> c.execute(schema)                          # create table per schema 
<sqlite3.Cursor object at 0x1392f50>
>>> conn.commit()                              # commit table creation

Используйте модуль csv для чтения файла с данными для вставки:

>>> csv_reader = csv.reader(open('myfile.txt'), skipinitialspace=True)
>>> csv_reader.next()                          # skip the first line in the file
['Parliament', 'Name', 'Country', ...

# put all data in a tuple
# edit: decoding from utf-8 file to unicode
>>> to_db = tuple([i.decode('utf-8') for i in line] for line in csv_reader)
>>> to_db                                      # this will be inserted into table
[(u'7', u'Marta Andreasen', u'United Kingdom', ...

Вставить данные:

>>> c.executemany("INSERT INTO politicians VALUES (?,?,?,?,?,?);", to_db)
<sqlite3.Cursor object at 0x1392f50>
>>> conn.commit()

Убедитесь, что все прошло должным образом:

>>> c.execute('SELECT * FROM politicians').fetchall()
[(u'7', u'Marta Andreasen', u'United Kingdom', ...

Изменить :
И поскольку вы декодировали (в Unicode) на входе, вам нужно обязательно кодировать на выходе.
Например:

with open('encoded_output.txt', 'w') as f:
  for row in c.execute('SELECT * FROM politicians').fetchall():
    for col in row:
      f.write(col.encode('utf-8'))
      f.write('\n')