Библиотека сжатия на лету в C для потоковой передачи
Существует ли библиотека для создания застежек -молний (формат zip-файлов не gzip или любой другой формат сжатия) на лету (так что я могу начать отправлять файл, пока он сжимается) для очень больших файлов (4 Гб и выше).
Степень сжатия не имеет большого значения (в основном медиафайлы).
Библиотека должна иметь c-интерфейс и работать над Debian и OSX.
-121--1365801-
На работе мы используем довольно мощные машины: HP Z600 с двойным xeon @ 2,5 ГГц, 8-16GB ram. К сожалению, из-за неправильной политики компании мы вынуждены использовать 32-разрядную XP, поэтому я сделал ramdrive PAE из неиспользуемой оперативной памяти 4GB.
А теперь временные файлы на машине. Я также пытался перенести весь проект на ramdrive, затем на SSD, но не было заметного улучшения времени запуска или компиляции в режиме хостинга.
Затем я запустил монитор процессов SysInternals, чтобы увидеть, есть ли какие-либо узкие места, которые не видны с диспетчером задач/работой на жестком диске, но я не видел ничего примечательного - кроме некоторых переполнений буфера, которые я не понимаю, что они означают.
Я могу предположить, что производительность для запуска OOMPH и компиляции GWT связаны, поэтому я использую время компиляции в качестве бенчмаркинга между различными изменениями.
Я активировал и деактивировал hyper-threading и turbo-boost в BIOS, но снова не увидел различий. Гипертрейдинг даже, кажется, делает все медленнее, я могу предположить, что штраф за переключение контекста выше для 16 ядер, чем для 8 ядер. Turbo-boost вроде бы ничего не делает, могу предположить, что работает только под Win7, у меня не получилось активировать драйвер. Это должно повысить ядро от 2.5Ghz до 2.8Ghz.
Деактивированная индексация и метка времени на дисках NTFS, изменение настроек производительности с переднего плана на фон и обратно, использование другого экземпляра Eclipse - без изменений.
Для компиляции я пытался указать другое количество работников, большую память и некоторые другие варианты. Все, что выше двух рабочих, увеличивает время компиляции.
Старые машины HP (XW6600), кажется, компилируются немного быстрее, возможно, из-за тактовой частоты 2 .8GHz, но их хост-режим, похоже, запускается медленнее.
Суммируя, использование памяти составляет около 2.6GB, использование файла подкачки равно нулю, жесткий диск не сигнализирует о большой активности, активность ЦП составляет
Итак, теперь, когда я попробовал все, что знал и нашел в Интернете, я могу попробовать что-нибудь еще? Значительно ли улучшится переход на 64-разрядные Win7 (это все равно должно произойти в следующем году)? Есть ли какие-то аппаратные/программные варианты, которые я могу изменить?
Л.Э.: также запустил RATT (трассировщик от MS), чтобы увидеть, есть ли какие-то прерывания слишком долго, но все кажется в порядке. Антивирус не имеет значения. Сравнительный анализ еще одного проекта GWT против моего мобильного i7 (2630q), и i7 примерно на 70% быстрее, хотя он имеет примерно те же часы.