Amazon S3 иногда загружает сбой? [закрытый]
Если вы хотите сделать это без использования pivot_table, вы можете попробовать следующий подход:
midx = pd.MultiIndex.from_product([ df['Symbol'].unique(), df['Year'].unique()], names=['Symbol', 'Year'])
df_grouped_by = df_grouped_by.reindex(midx, fill_value=0)
То, что мы в основном делаем выше, это создание мультииндекса всех возможных значений, умножающих два столбцы, а затем используя этот мультииндекс, чтобы заполнить нули в нашей группе - с помощью dataframe.
7 ответов
Кроме времени простоя несколько недель назад. Ни один, о чем я слышал.
Они сделали хорошее задание, рассмотрев одно время, на которое оно снизилось, был из-за неясной ошибки сервера, которая расположилась каскадом всюду по облаку. Они были очень открыты об этом, и разрешите его, как только они узнали. (это произошло в течение выходных, iirc),
Таким образом, они довольно надежны. Мой совет является двойной проверкой Ваш код. И принесите ему до поддержки амазонки, если это - все еще проблема.
хорошо, это все немного старо теперь, но для ссылки. Я просто выполнял миграцию данных нескольких концертов данных из сервера EC2 непосредственно в s3. Я получаю 500 ошибок о каждых 10 минутах или таким образом, представляя коэффициент ошибок приблизительно 1% ПОМЕЩАЕТ. Так, да, S3 действительно имеет проблему с 500 ошибками.
Не сделали многого в способе GET's хотя, так комментарий наклона
S3 Amazon иногда перестанет работать с ошибками во время загрузок или загрузок - обычно "500: Внутренний Сервер" ошибки. Коэффициент ошибок является обычно довольно низким, но он может пронзить, если сервис находится под большой нагрузкой. Коэффициент ошибок никогда не 0%, поэтому даже в лучшие времена, которые приведет к сбою случайный запрос.
Вы проверяете код ответа HTTP в свой autoupdater? В противном случае необходимо проверить, что загрузка успешно выполнилась (HTTP 200) перед выполнением контрольной суммы. Идеально, Ваше приложение должно повторить отказавшие загрузки, потому что случайные ошибки являются неизбежной "функцией" S3, с которым должны иметь дело клиенты.
Стоит отметить, что, если Ваши клиенты получают 500 ошибок, Вы не будете, вероятно, видеть доказательства их в журналах сервера S3. Эти ошибки, кажется, происходят, прежде чем запрос достигает компонента входа сервиса.
Я соглашаюсь, проверка четверки, Ваш код был бы хорошей идеей. Я не говорю, что этого не может произойти, но я не полагаю, что когда-либо видел его, и я использовал S3 довольно хороший бит теперь. Я, однако, неумело управлял повреждениями исключений/соединения несколько раз и закончил с частями, которые не соответствовали тому, что я ожидал.
Я был бы довольно удивлен, отправляют ли они на самом деле неправильные данные, но, как всегда, что-либо возможно.
Больше, чем отправка неправильных данных, я думаю, что получил ERROR403. Если я просто попробовал еще раз, это обычно в порядке.
И я соглашаюсь: Я видел много отчета о людях, говорящих об амазонке, снижающейся полностью, но никому говорящему об "иногда моем доступе не отказывают" в ошибке, таким образом, я предполагаю, что на моей стороне могла бы быть ошибка. Я просто настроил амазонку входа в систему.
Так или иначе спасибо! Я буду следовать за Вашим советовать и прекращать обвинять "другого парня".
Никогда не слышал о проблеме во время загрузки. Это странно. Я получаю ТОННЫ 500 Внутренних сообщений об ошибках Сервера при загрузке. Вот почему у меня есть демон, который загружает, в то время как пользователь делает что-то еще.
Это, кажется, не что-то в Вашем коде, возможно, существует действительно что-то не так с S3 (или с S3-> Япония.)
Можно попытаться включить сервер EC2 и просто запустить тест оттуда (трафик не будет стоить никаких денег, таким образом используйте столько, сколько Вы хотите!) и видят, получаете ли Вы ошибки. Если Вы делаете, то Вам не повезло, и S3 не для Вас :)
Удачи!
Я иногда становлюсь неожиданным, 404 ошибки с ПОЛУЧАЮТ объекты, которые являются частью предыдущего СПИСКА, но в новинку для блока и других разных ошибок (например: 403 на моем идентификаторе доступа и секретном ключе), но ничто катастрофическое.
Мой код выполняет сторону сервера, таким образом, я вставил некоторую устойчивую обработку ошибок и вход. Я думаю, что это - мудрая вещь сделать каждый раз, когда у Вас есть один сервер в сети, связывающейся с другим сервером.:P