Где начать узнавать об аудиокодеках или видеокодеках? [закрытый]

Попробуйте начать здесь:

Начало работы с кодировщиком Windows Media

http://www.microsoft.com/windows/windowsmedia/howto/articles/introencoding.aspx

Дополнительные данные можно найти на codecpage.com

Я немного узнал о формате MPEG4, работая над декодером MPEG4. Существует множество различных эталонных (и реализаций с открытым исходным кодом) кодеров и декодеров как для видео, так и для аудио. Итак, обращайтесь к книгам - начиная с Википедии: в ней есть хорошие общие резюме и ссылки, по которым можно следовать (если вам повезло с «открытыми спецификациями»). А затем ударил по источнику.

Существует так много разных способов кодирования чего-либо (многие из них включают в себя ту или иную форму сжатия, будь то с потерями или без потерь), и вся проблема, как правило, еще больше усложняется тем, что также приходится иметь дело с контейнером кадрирования и субформатами ".

Удачи.

• Дирак: http://diracvideo.org/specifications/
• MPEG-4: http://en.wikipedia.org/wiki/MPEG-4
• JPEG: http://jpeg.org/ public / jfif.pdf

Ваш заголовок спрашивает об A / V-сжатии, но в остальных ваших комментариях говорится о синтаксическом анализе медиафайла и идентификации его кодека. Это очень разные задачи: они разработаны и реализованы разными организациями, выполняются разными API в большинстве мультимедийных библиотек и, прежде всего, требуют очень разных наборов навыков.

Форматы аудио / видео файлов не слишком отличаются от любых других форматов файлов, которые, в свою очередь, представляют собой всего лишь формальные грамматики . Анализ, проверка и результирующие графы объектов концептуально не отличаются от любой другой грамматики - и на практике они, как правило, намного проще, чем грамматики, с которыми вы сталкиваетесь в стандартной учебной программе CS (компиляторы, конечные автоматы). Формат файла AVI на данный момент несколько устарел, но я все же рекомендую начать с него, потому что:

• многие из сегодняшних более сложных форматов напоминают AVI полностью или частично или, как минимум, предполагают, что вы знакомы с его основными структурами
• AVI является членом более крупного семейства мультимедийных форматов, известных как RIFF, которые вы найдете во многих других местах , таких как WAV

. из самых сложных алгоритмов, которые вы, вероятно, найдете среди «потребительского» программного обеспечения. Они в значительной степени опираются на достижения как в академическом сообществе, так и в отделах НИОКР крупных корпораций (включая их обширные патентные библиотеки).Чтобы хорошо разбираться в кодеках, вам необходимо знать хотя бы основы:

• теории информации
• общих алгоритмов энтропийного кодирования
• анализа Фурье (и как можно большего количества других DSP. )
• психоакустическое / психовизуальное моделирование
• практические ограничения, налагаемые жизненным циклом производства / трансляции, устаревшим видеооборудованием и стандартами, а также надоедливой старой физикой, включая:
  • чередование
  • исправлено цветовых пространств
  • линзовая оптика
• практические ограничения, накладываемые современными архитектурами ЦП, в частности:
  • SIMD оптимизация
  • строка кэша псевдонимы, предварительная выборка и т. Д.

Если у вас уже есть приличный опыт (например, вы прошли один или два курса бакалавриата по математике для инженеров), то я советую сразу приступить к делу. лучшие кодеки A / V имеют открытый исходный код:

• x264 (MPEG-4 part 10, также известный как AVC)
• LAME (MPEG-1 layer 3, aka mp3)
• Xvid (MPEG-4 часть 2, такой же, как Divx и многие другие другие)
• Vorbis (альтернативный, свободный от патента аудиокодек)
• Dirac (альтернативный, свободный от патента видеокодек, основанный на вейвлет-преобразовании)

В общем, сжатие видео связано с отбрасыванием как можно большего количества информации при минимальном влиянии на просмотр опыт для конечного пользователя. Например, использование субдискретизированного YUV вместо RGB сразу сокращает размер видео вдвое. Это возможно, поскольку человеческий глаз менее чувствителен к цвету, чем к яркости. В YUV значение Y - это яркость, а значения U и V - цвет. Следовательно, вы можете выбросить часть информации о цвете, что уменьшает размер файла, и зритель не заметит никакой разницы.

После этого большинство методов сжатия, в частности, используют преимущества двух избыточностей. Первый - это временная избыточность , а второй - пространственная избыточность .

Временная избыточность отмечает, что последовательные кадры в видеопоследовательности очень похожи.Обычно видео имеет порядок 20-30 кадров в секунду, и ничего особенного не меняется за 1/30 секунды. Возьмите любой DVD и поставьте его на паузу, затем переместите его на один кадр и обратите внимание, насколько похожи два изображения. Таким образом, вместо того, чтобы кодировать каждый кадр независимо, MPEG-4 (и другие стандарты сжатия) кодируют только разницу между последовательными кадрами (используя оценку движения , чтобы найти разницу между кадрами)

Пространственная избыточность использует тот факт, что в целом цветовая палитра изображений имеет тенденцию быть довольно низкой частотой. Под этим я подразумеваю, что соседние пиксели имеют похожие цвета. Например, на изображении, на котором вы носите красный джемпер, все пиксели, представляющие ваш джемпер, будут иметь очень похожий цвет. Можно использовать DCT для преобразования значений пикселей в частотное пространство, где некоторая низкочастотная информация может быть отброшена. Затем, когда выполняется обратный DCT (во время декодирования), изображение теперь не содержит отброшенной низкочастотной информации.

Чтобы увидеть эффект отбрасывания этой информации, откройте MS Paint и нарисуйте серию перекрывающихся горизонтальных и вертикальных черных линий. Сохраните изображение как JPEG (который также использует DCT для сжатия). Теперь увеличьте масштаб рисунка, обратите внимание, что края линий больше не такие резкие и немного размытые. Это связано с тем, что некоторая информация (переход от черного к белому) была отброшена во время сжатия.Прочтите эту , чтобы получить объяснение с красивыми картинками.

Для дальнейшего чтения, эта книга неплохая, хотя и немного тяжелая по математике.