Python или awk / sed для очистки данных [закрыто]

В настоящее время этот вопрос не подходит для нашего формата вопросов и ответов. Мы ожидаем, что ответы будут подтверждены фактами, ссылками или опытом, но этот вопрос, скорее всего, повлечет за собой дебаты, аргументы, опросы или расширенное обсуждение. Если вы считаете, что этот вопрос можно улучшить и, возможно, снова открыть, посетите справочный центр , чтобы получить рекомендации.

Закрыт 8 лет назад .

Я использую R для анализа данных и очень им доволен. Однако очистка данных может быть немного проще. Я думаю об изучении другого языка, подходящего для этой задачи. В частности, я ищу инструмент для использования необработанных данных, удаления ненужных переменных или наблюдений и форматирования для удобной загрузки в R. Содержимое будет в основном числовыми и строковыми данными, а не многострочным текстом.

Я рассматриваю комбинацию awk / sed по сравнению с Python. (Я понимаю, что Perl был бы другим вариантом, но, если бы я собирался выучить другой полный язык, Python, кажется, был бы лучшим и более расширяемым выбором.)

Преимущество sed / awk в том, что он был бы быстрее учить. Недостатком является то, что эта комбинация не так расширяема, как Python. В самом деле, я мог бы вообразить некоторую "ползучесть миссии", если бы я выучил Python, что было бы хорошо, но не моя цель.

Другое соображение, которое у меня было, - это приложения к большим наборам данных.Насколько я понимаю, awk / sed работают построчно, в то время как Python обычно извлекает все данные в память. Это может быть еще одним преимуществом sed / awk.

Есть ли другие проблемы, которые мне не хватает? Мы будем благодарны за любой совет, который вы можете предложить. (Я добавил тег R для пользователей R, чтобы предложить их рекомендации по очистке.)

задан zx8754 21 November 2016 в 07:16

0 ответов

Другие вопросы по тегам:

python r awk sed data-cleaning

Python или awk / sed для очистки данных [закрыто]

0 ответов

Похожие вопросы: