Python - преобразование CSV к объектам - дизайн кода

У меня есть маленький сценарий, который мы используем, чтобы читать в файле CSV, содержащем сотрудников и выполнить некоторые основные манипуляции на тех данных.

Мы читаем в данных (import_gd_dump) и создаем Employees объект, содержа список Employee объекты (возможно, я должен думать о лучшем соглашении о присвоении имен... lol). Мы затем звоним clean_all_phone_numbers() на Employees, который звонит clean_phone_number() на каждом Employee, а также lookup_all_supervisors(), на Employees.

import csv
import re
import sys

#class CSVLoader:
#    """Virtual class to assist with loading in CSV files."""
#    def import_gd_dump(self, input_file='Gp Directory 20100331 original.csv'):
#        gd_extract = csv.DictReader(open(input_file), dialect='excel')
#        employees = []
#        for row in gd_extract:
#            curr_employee = Employee(row)
#            employees.append(curr_employee)
#        return employees
#    #self.employees = {row['dbdirid']:row for row in gd_extract}

# Previously, this was inside a (virtual) class called "CSVLoader".
# However, according to here (http://tomayko.com/writings/the-static-method-thing) - the idiomatic way of doing this in Python is not with a class-function but with a module-level function
def import_gd_dump(input_file='Gp Directory 20100331 original.csv'):
    """Return a list ('employee') of dict objects, taken from a Group Directory CSV file."""
    gd_extract = csv.DictReader(open(input_file), dialect='excel')
    employees = []
    for row in gd_extract:
        employees.append(row)
    return employees

def write_gd_formatted(employees_dict, output_file="gd_formatted.csv"):
    """Read in an Employees() object, and write out each Employee() inside this to a CSV file"""
    gd_output_fieldnames = ('hrid', 'mail', 'givenName', 'sn', 'dbcostcenter', 'dbdirid', 'hrreportsto', 'PHFull', 'PHFull_message', 'SupervisorEmail', 'SupervisorFirstName', 'SupervisorSurname')
    try:
        gd_formatted = csv.DictWriter(open(output_file, 'w', newline=''), fieldnames=gd_output_fieldnames, extrasaction='ignore', dialect='excel')
    except IOError:
        print('Unable to open file, IO error (Is it locked?)')
        sys.exit(1)

    headers = {n:n for n in gd_output_fieldnames}
    gd_formatted.writerow(headers)
    for employee in employees_dict.employee_list:
        # We're using the employee object's inbuilt __dict__ attribute - hmm, is this good practice?
        gd_formatted.writerow(employee.__dict__)

class Employee:
    """An Employee in the system, with employee attributes (name, email, cost-centre etc.)"""
    def __init__(self, employee_attributes):
        """We use the Employee constructor to convert a dictionary into instance attributes."""
        for k, v in employee_attributes.items():
            setattr(self, k, v)

    def clean_phone_number(self):
        """Perform some rudimentary checks and corrections, to make sure numbers are in the right format.
        Numbers should be in the form 0XYYYYYYYY, where X is the area code, and Y is the local number."""
        if self.telephoneNumber is None or self.telephoneNumber == '':
            return '', 'Missing phone number.'
        else:
            standard_format = re.compile(r'^\+(?P<intl_prefix>\d{2})\((?P<area_code>\d)\)(?P<local_first_half>\d{4})-(?P<local_second_half>\d{4})')
            extra_zero = re.compile(r'^\+(?P<intl_prefix>\d{2})\(0(?P<area_code>\d)\)(?P<local_first_half>\d{4})-(?P<local_second_half>\d{4})')
            missing_hyphen = re.compile(r'^\+(?P<intl_prefix>\d{2})\(0(?P<area_code>\d)\)(?P<local_first_half>\d{4})(?P<local_second_half>\d{4})')
            if standard_format.search(self.telephoneNumber):
                result = standard_format.search(self.telephoneNumber)
                return '0' + result.group('area_code') + result.group('local_first_half') + result.group('local_second_half'), ''
            elif extra_zero.search(self.telephoneNumber):
                result = extra_zero.search(self.telephoneNumber)
                return '0' + result.group('area_code') + result.group('local_first_half') + result.group('local_second_half'), 'Extra zero in area code - ask user to remediate. '
            elif missing_hyphen.search(self.telephoneNumber):
                result = missing_hyphen.search(self.telephoneNumber)
                return '0' + result.group('area_code') + result.group('local_first_half') + result.group('local_second_half'), 'Missing hyphen in local component - ask user to remediate. '
            else:
                return '', "Number didn't match recognised format. Original text is: " + self.telephoneNumber

class Employees:
    def __init__(self, import_list):
        self.employee_list = []    
        for employee in import_list:
            self.employee_list.append(Employee(employee))

    def clean_all_phone_numbers(self):
        for employee in self.employee_list:
            #Should we just set this directly in Employee.clean_phone_number() instead?
            employee.PHFull, employee.PHFull_message = employee.clean_phone_number()

    # Hmm, the search is O(n^2) - there's probably a better way of doing this search?
    def lookup_all_supervisors(self):
        for employee in self.employee_list:
            if employee.hrreportsto is not None and employee.hrreportsto != '':
                for supervisor in self.employee_list:
                    if supervisor.hrid == employee.hrreportsto:
                        (employee.SupervisorEmail, employee.SupervisorFirstName, employee.SupervisorSurname) = supervisor.mail, supervisor.givenName, supervisor.sn
                        break
                else:
                    (employee.SupervisorEmail, employee.SupervisorFirstName, employee.SupervisorSurname) = ('Supervisor not found.', 'Supervisor not found.', 'Supervisor not found.')
            else:
                (employee.SupervisorEmail, employee.SupervisorFirstName, employee.SupervisorSurname) = ('Supervisor not set.', 'Supervisor not set.', 'Supervisor not set.')

    #Is thre a more pythonic way of doing this?
    def print_employees(self):
        for employee in self.employee_list:
            print(employee.__dict__)

if __name__ == '__main__':
    db_employees = Employees(import_gd_dump())
    db_employees.clean_all_phone_numbers()
    db_employees.lookup_all_supervisors()
    #db_employees.print_employees()
    write_gd_formatted(db_employees)

Во-первых, мой вопрос о преамбуле, можно ли видеть что-нибудь по сути неправильно с вышеупомянутым, или от дизайна класса или от точки зрения Python? Логика/дизайн является звуковой?

Во всяком случае, к специфическим особенностям:

  1. Employees объект имеет метод, clean_all_phone_numbers(), который звонит clean_phone_number() на каждом Employee возразите в нем. Этот плохой дизайн? Если так, почему? Кроме того, способ, которым я звоню lookup_all_supervisors() плохо?
  2. Первоначально, я перенесся clean_phone_number() и lookup_supervisor() метод в единственной функции, с синглом, для цикла в нем. clean_phone_number является O (n), я верю, lookup_supervisor является O (n^2) - в порядке это разделяющий его на два цикла как это?
  3. В clean_all_phone_numbers(), Я - цикличное выполнение на Employee объекты и настройки их значения с помощью возврата/присвоения - должны я установить эту внутреннюю часть clean_phone_number() самостоятельно?

Существует также несколько вещей, что я отсортирован вырубленных, не уверенных, если они - плохая практика - например. print_employee() и gd_formatted() оба использования __dict__, и конструктор для Employee использование setattr() преобразовать словарь в атрибуты экземпляра.

Я оценил бы любые мысли вообще. Если Вы думаете, что вопросы слишком широки, сообщают мне, и я могу повторно отправить как несколько разделений (я просто не хотел загрязнять платы несколькими подобными вопросами, и эти три вопроса более или менее справедливо плотно связаны).

С наилучшими пожеланиями, Victor

5
задан Benjamin 9 December 2013 в 14:03
поделиться

2 ответа

По-моему, выглядит нормально. Хорошая работа. Как часто вы собираетесь запускать этот скрипт? Большинство ваших вопросов спорны, если это одноразовая вещь.

  1. Мне нравится, как Employees.cleen_all_phone_numbers() делегирует Employee.cleenan_phone_number()
  2. Вам действительно следует использовать индекс (словарь) здесь. Вы можете индексировать каждого сотрудника по hrid, когда создаете их в O(n), а затем искать их в O(1).
    • Но делайте это только в том случае, если вам когда-нибудь придется запускать сценарий снова...
    • Просто возьмите за привычку пользоваться словарями. Они безболезненны и облегчают чтение кода. Всякий раз, когда вы пишете метод lookup_*, вы, вероятно, просто хотите проиндексировать словарь.
  3. не уверен. Мне нравится явно устанавливать состояние, но это на самом деле плохой дизайн - clean_phone_number() должен делать это, Сотрудники должны отвечать за свое состояние.
3
ответ дан 14 December 2019 в 19:03
поделиться

, вы должны закрыть свои файлы после их прочтения Я предлагаю переместить все скомпилированные файлы на верхний уровень (в противном случае вы компилируете их при каждом вызове) если self.telephoneNumber равен None или self.telephoneNumber == '': cen можно легко переписать, как будто это не self.telephoneNumber

2
ответ дан 14 December 2019 в 19:03
поделиться
Другие вопросы по тегам:

Похожие вопросы: