[Закрываются] большие наборы данных

Вы могли бы хотеть взглянуть на данные для американских Статистических данных Ассоциации экспо - это - детали полета для всех коммерческих полетов в США в течение прошлых 20 лет - 120 миллионов записей, 11 ГБ данных.

Я сделал некоторую работу с наборами загрузки Викимедиа, которые являются огромными XML-файлами. К сожалению, их сервер загрузки, кажется, в настоящее время имеет дисковое пространство проблемы столь многие наборы данных, не доступны. Но когда это доступно, весь английский набор данных Википедии с полной историей составляет 2,8 ТБ (сжатых 18 ГБ).

Много del.icio.us пользователей (включая меня) отмечают страницы, которые содержат общедоступные данные с помощью тега "publicdata". Можно найти, что архив здесь и подписывается на канал RSS для того тега здесь. Подпишитесь на канал, и Вы будете видеть непрекращающийся поток интересных наборов данных, которые открываются в сети.

Не все те наборы данных являются большими, но они часто интересны.

Вы могли бы хотеть посмотреть на генерацию случайных данных для Тестирования Пуха. Это дало бы Вам в значительной степени неограниченную сумму данных тестирования, и Вы, более вероятно, поразите пограничные случаи.

Возможно, еще некоторая информация о том, какие данные тестирования Вы хотите, что формат, и для какой типы приложений?

Я не знаю, какова Ваша целевая платформа, но если Вы разрабатываете против Visual Studio выезда базы данных MSSQL для Профессионалов Базы данных. Это имеет очень замечательную функцию, где это может генерировать данные для Вашей схемы с помощью плана данных, который можно определить.

Redgate также имеет datageneration инструмент, но я не использовал его.

Преимущество состоит в том, что можно создать план поколения данных и использовать его для заполнения базы данных с последовательными, большими объемами данных, которые могут быть настроены для тестирования определенных областей схемы.

Вы могли бы также хотеть проверить theinfo Aaron Swartz.

От сайта

Это - сайт для больших наборов данных и людей, которые любят их: скребки и поисковые роботы, кто собирает их, академиков и фанатов, которые обрабатывают их, разработчиков и художников, которые визуализируют их. Это - место, где они могут обмениваться подсказками и приемами, разработать и совместно использовать инструменты вместе и начать интегрировать свои конкретные проекты.