после нескольких дней экспериментов с Protocol Buffers я попытался сжать файлы. С помощью Python это сделать довольно просто и не требует никакой игры с потоками.
Поскольку большая часть нашего кода написана на C++, я хотел бы сжимать/ распаковывать файлы на том же языке. Я пробовал использовать библиотеку boost gzip, но не смог заставить ее работать (не сжимает):
int writeEventCollection(HEP::MyProtoBufClass* protobuf, std::string filename, unsigned int compressionLevel) {
ofstream file(filename.c_str(), ios_base::out | ios_base::binary);
filtering_streambuf
Я искал примеры, использующие GzipOutputStream и GzipInputStream с буферами протокола, но не смог найти работающего пример.
Как вы, вероятно, уже заметили, я в лучшем случае новичок в работе с потоками. и был бы очень признателен за полностью рабочий пример как в http://code.google.com/apis/protocolbuffers/docs/cpptutorial.html (У меня есть адресная_книга, как мне сохранить ее в gziped файл?)
Заранее спасибо.
EDIT: Рабочие примеры.
Пример 1 после ответа здесь на StackOverflow
int writeEventCollection(shared_ptr eCollection,
std::string filename, unsigned int compressionLevel) {
filtering_ostream out;
out.push(gzip_compressor(compressionLevel));
out.push(file_sink(filename, ios_base::out | ios_base::binary));
if (!eCollection->SerializeToOstream(&out)) {
cerr << "Failed to write event collection." << endl;
return -1;
}
return 0;
}
Пример 2 после ответа на Google's Protobuf discussion group:
int writeEventCollection2(shared_ptr
eCollection, std::string filename,
unsigned int compressionLevel) {
using namespace google::protobuf::io;
int filedescriptor = open(filename.c_str(), O_WRONLY | O_CREAT | O_TRUNC,
S_IREAD | S_IWRITE);
if (filedescriptor == -1) {
throw "open failed on output file";
}
google::protobuf::io::FileOutputStream file_stream(filedescriptor);
GzipOutputStream::Options options;
options.format = GzipOutputStream::GZIP;
options.compression_level = compressionLevel;
google::protobuf::io::GzipOutputStream gzip_stream(&file_stream,
options);
if (!eCollection->SerializeToZeroCopyStream(&gzip_stream)) {
cerr << "Failed to write event collection." << endl;
return -1;
}
close(filedescriptor);
return 0;
}
Некоторые замечания по производительности (чтение текущего формата и запись файлов ProtoBuf 11146): Пример 1:
real 13m1.185s
user 11m18.500s
sys 0m13.430s
CPU usage: 65-70%
Size of test sample: 4.2 GB (uncompressed 7.7 GB, our current compressed format: 7.7 GB)
Пример 2:
real 12m37.061s
user 10m55.460s
sys 0m11.900s
CPU usage: 90-100%
Size of test sample: 3.9 GB
Похоже, что метод Google более эффективно использует CPU, немного быстрее (хотя я ожидаю, что это будет в пределах точности) и производит ~7% меньший набор данных при тех же настройках сжатия.