Паранойя, чрезмерное ведение журнала и обработка исключений в простых скриптах, работающих с файлами. Это нормально?

Это нормально быть маленьким параноиком. Но бывают разные виды паранойи :). На этапе разработки я использую много отладочных операторов, чтобы видеть, где я ошибаюсь (если я ошибаюсь). Иногда я оставляю эти операторы, но использую флаг, чтобы контролировать, нужно ли их отображать или нет (в значительной степени флаг отладки). У вас также может быть флаг «многословия», чтобы контролировать, сколько вы ведете журнала.

Другой тип паранойи связан с проверками на вменяемость. Эта паранойя проявляется, когда вы полагаетесь на внешние данные или инструменты - почти все, что не исходит из вашей программы. В этом случае никогда не повредит быть параноиком (особенно с данными, которые вы получаете - никогда не доверяйте им ).

Также нормально быть параноиком, если вы проверяете, успешно ли завершилась конкретная операция. Это всего лишь часть нормальной обработки ошибок. Я заметил, что вы выполняете такие функции, как удаление каталогов и файлов. Это операции, которые потенциально могут потерпеть неудачу, поэтому вы должны разобраться со сценарием, в котором они потерпят неудачу. Если вы просто проигнорируете это, ваш код может оказаться в неопределенном / неопределенном состоянии и потенциально может делать плохие (или, по крайней мере, нежелательные) вещи.

Что касается файлов журнала и файлов отладки, вы можете оставить их, если хотите. Обычно я веду приличное количество журналов; достаточно, чтобы сказать мне, что происходит. Конечно, это субъективно. Ключ в том, чтобы не утонуть в ведении журнала; где информации так много, что ее сложно разобрать. Ведение журнала в целом помогает понять, что делать, если написанный вами скрипт внезапно перестает работать. Вместо того, чтобы разобраться в программе, вы можете получить приблизительное представление о том, в чем проблема, просмотрев свои журналы.

Паранойя определенно может скрыть то, что пытается сделать ваш код. Это очень плохо по нескольким причинам. Скрывает ошибки. Это затрудняет изменение программы, когда вам нужно сделать что-то еще. Это затрудняет отладку.

Предполагая, что Амосс не может вылечить вас от вашей паранойи, вот как я мог бы переписать программу.Обратите внимание:

• Каждый блок кода, содержащий много паранойи, разделен на отдельную функцию.

• Каждый раз, когда перехватывается исключение, оно повторно возбуждается , пока оно, наконец, не будет перехвачено функцией main . Это устраняет необходимость в таких переменных, как RESTORE_BACKUP и RESTORE_FAIL .

• Сердце программы (в flatten_dir ) теперь занимает всего 17 строк и не вызывает паранойи.

def backup_tree(dirname, backup_dirname):
    try:
        shutil.copytree(dirname, backup_dirname)
        log.debug('directory "%s" backed up as directory "%s"' % (dirname,backup_dirname))
    except:
        log.error('Error trying to back up the directory')
        raise

def move_file(full_filename, dirname):
    try:
        shutil.move(full_filename, dirname)
        log.debug('"%s" copied to directory "%s"' % (file,dirname))
    except:
        log.error('file "%s" could not be moved to directory "%s"' % (file,dirname))
        raise

def remove_empty_dir(dirname):
    try:
        os.rmdir(dirname)
        log.debug('directory "%s" deleted' % dirname)
    except:
        log.error('directory "%s" could not be deleted' % dirname)
        raise

def remove_tree_for_restore(dirname):
    try:
        shutil.rmtree(dirname)
    except:
        log.error('modified directory "%s" could not be deleted' % dirname)
        log.error('manual restoration from backup directory "%s" necessary' % backup_dirname)
        raise

def restore_backup(backup_dirname, dirname):
    try:
        os.renames(backup_dirname, dirname)
        log.debug('back up of directory "%s" restored' % dirname)
        print '>'
        print '>******WARNING******'
        print '>There was an error while trying to flatten directory "%s"' % dirname
        print '>back up of directory "%s" restored' % dirname
        print '>******WARNING******'
        print '>'
    except:
        log.error('backup directory "%s" could not be renamed to original directory name' % backup_dirname)
        log.error('manual renaming of backup directory "%s" to original directory name "%s" necessary' % (backup_dirname,dirname))
        print '>'
        print '>******WARNING******'
        print '>There was an error while trying to flatten directory "%s"' % dirname
        print '>back up of directory "%s" was NOT restored successfully' % dirname
        print '>no information is lost'
        print '>check the log file for information on manually restoring the directory'
        print '>******WARNING******'
        print '>'
        raise

def remove_backup_tree(backup_dirname):
    try:
        shutil.rmtree(backup_dirname)
        log.debug('back up of directory "%s" deleted' % dirname)
        log.info('directory "%s" successfully processed' % dirname)
        print '>directory "%s" successfully processed' % dirname
    except shutil.Error:
        log.error('backup directory "%s" could not be deleted' % backup_dirname)
        log.error('manual deletion of backup directory "%s" necessary' % backup_dirname)
        print '>'
        print '>******WARNING******'
        print '>directory "%s" successfully processed' % dirname
        print '>cleanup of backup directory "%s" failed' % backup_dirname
        print '>manual cleanup necessary'
        print '>******WARNING******'
        print '>'
        raise

def flatten_dir(dirname):
    '''Flattens a given root directory by moving all files from its sub-directories and nested 
    sub-directories into the root directory and then deletes all sub-directories and nested 
    sub-directories. Creates a backup directory preserving the original structure of the root
    directory and restores this in case of errors.
    '''
    log.info('processing directory "%s"' % dirname)
    backup_dirname = str(uuid.uuid4())
    backup_tree(dirname, backup_dirname)
    try:
        for root, dirs, files in os.walk(dirname, topdown=False):
            log.debug('os.walk passing: (%s, %s, %s)' % (root, dirs, files))
            if root != dirname:
                for file in files:
                    full_filename = os.path.join(root, file)
                    move_file(full_filename, dirname)
                remove_empty_dir(dirname)
    except:
        remove_tree_for_restore(dirname)
        restore_backup(backup_dirname, dirname)
        raise
    else:
        remove_backup_tree(backup_dirname)

def main(dirname):
    try:
        flatten_dir(dirname)
    except:
        import exceptions
        logging.exception('error flattening directory "%s"' % dirname)
        exceptions.print_exc()
        sys.stderr.write('the program is terminating with an error\n')
        sys.stderr.write('press consult the log file\n')
        sys.stderr.flush()
        time.sleep(0.25)
        print 'Press any key to quit this program.'
        msvcrt.getch()
        sys.exit()

Мне это кажется разумным. Это зависит от того, насколько важны ваши данные.

Я часто начинаю с этого и делаю регистрацию необязательной, с флагом, установленным в верхней части файла (или вызывающим), включающим или выключающим регистрацию. У вас также может быть многословие.

Обычно, когда что-то работает какое-то время и больше не находится в разработке, я прекращаю читать журналы и создаю гигантские файлы журналов, которые никогда не читал. Однако, если что-то пойдет не так, хорошо знать, что они есть.

Если можно оставить задание наполовину завершенным из-за ошибки (перемещены только некоторые файлы), если файлы не потеряны, то каталог резервных копий не нужен. Таким образом, вы можете написать значительно более простой код:

import os, logging

def flatten_dir(dirname):
    for root, dirs, files in os.walk(dirname, topdown=False):
        assert len(dirs) == 0
        if root != dirname:
            for file in files:
                full_filename = os.path.join(root, file)
                target_filename = os.path.join(dirname, file)
                if os.path.exists(target_filename):
                    raise Exception('Unable to move file "%s" because "%s" already exists'
                                    % (full_filename, target_filename))
                os.rename(full_filename, target_filename)
            os.rmdir(root)

def main():
    try:
        flatten_dir(somedir)
    except:
        logging.exception('Failed to flatten directory "%s".' % somedir)
        print "ERROR: Failed to flatten directory. Check log files for details."

Каждый отдельный системный вызов здесь выполняет работу без уничтожения данных, которые вы хотели сохранить. Нет необходимости в резервном каталоге, потому что вам никогда ничего не нужно «восстанавливать».