Когда я обучаю нейронную сеть с использованием экземпляра EC2, где мне нужно хранить набор данных поезда? [закрыто]
Можно ли включить в этот запрос Capacitor для IParentEquipment?
Нет необходимости делать кастинг для работы этого кода.
var query = ( from e in ((IAppContext)_ctx).Capacitor where e.Name.Equals(name) select e).Distinct(); equipments.AddRange(query);
2 ответа
Я думаю, что вы также можете использовать том EBS, а затем смонтировать его, если экземпляр остановится, ваш том нужно будет снова смонтировать. Файловая система S3 предоставит вам такую же функциональность. Я бы не стал хранить 100 ГБ данных в S3 и использовать S3 SDK, так как запросы GET для многих небольших файлов могут быть очень дорогими.
S3 - это самый дешевый вариант для хранения данных, который есть у вас в AWS, поэтому я бы посоветовал вам хранить там данные обучения.
Вы не можете реально хранить данные в экземпляре EC2, вы можете хранить их в томе основного хранилища. Это могут быть тома EBS или тома хранилища экземпляров.
Если вы используете тома EBS, то вы можете настроить их поведение после завершения работы экземпляра, чтобы вы могли указать, удалять их или нет, что означает, что даже если вы прекратите работу с экземпляром EC2, вы все равно сможете сохранить объемы, если вы выберете так.
Это невозможно в случае объемов хранилища экземпляров. Они автоматически удаляются, когда вы завершаете работу экземпляра EC2, и если вы запускаете экземпляр EC2 с сохранением экземпляра (экземпляр EC2 с корневым томом хранилища экземпляра экземпляра), вы не можете остановить его, и если произойдет какой-либо сбой, то все данные о временных объемах хранилищ экземпляров теряются.
Если вы заботитесь только о результате операции, вы можете загрузить результат на S3 и завершить работу экземпляра.
Да, вы можете смонтировать S3 bucket в свой экземпляр EC2 или просто отправить данные, используя S3 API.
Так что я предлагаю сохранить данные в S3. Когда вы будете готовы обработать его, раскрутите экземпляр EC2, извлеките данные из S3 (если ваши экземпляры S3 и EC2 находятся в одном регионе, эта передача данных бесплатна). Обработайте данные и сохраните результат на S3. Завершите работу экземпляра (или остановите его, если вам нужна такая же настройка для следующей задачи, или создайте его AMI).
Еще одна вещь, которую следует рассмотреть здесь, это тип томов, которые вы выбираете (SSD или HDD). Возможно, более разумно использовать тома с оптимизированной пропускной способностью, чем обычные твердотельные накопители (и, конечно, тип экземпляра, но вам необходимо измерить, как работает выбранный вами экземпляр и нужно ли его немного увеличить или изменить тип).