Потоковая передача веб-камеры от (беты) Silverlight 4

Я решил сообщить заинтересованным лицам, какой подход я использовал на самом деле. Для кодирования голоса я использую CSpeex, а для кодирования видео я написал свой собственный блочный видеокодек. Он делит каждый кадр на блоки 16x16, определяет, какие блоки достаточно изменились, чтобы их можно было передать, а затем Jpeg-кодирует измененные блоки с помощью сильно модифицированной версии FJCore. (FJCore в целом хорошо сделан, но его пришлось модифицировать, чтобы не писать заголовки JFIF и ускорить инициализацию различных объектов). Все это передается на проприетарный медиа-сервер по проприетарному протоколу, примерно основанному на RTP.

С одним потоком вверх и четырьмя потоками вниз при 144x176, я в настоящее время получаю 5 кадров в секунду, используя в общей сложности 474 Кбит/с (~82 Кбит/с / видео поток + 32 Кбит/с / аудио), и потребляя около 30% процессора на моей приставке. Качество не очень хорошее, но приемлемое для большинства приложений видеочата.

С тех пор, как я опубликовал свой первоначальный вопрос, было предпринято несколько попыток реализовать решение. Вероятно, лучшая - на сайте SocketCoder здесь (и здесь).

Однако, поскольку видеокодек SocketCoder motion JPEG-стиля переводит весь кадр целиком, а не только измененные блоки, я предполагаю, что требования к процессору и пропускной способности будут непомерно высоки для большинства приложений.

К сожалению, мое собственное решение в обозримом будущем придется оставить закрытым :-(.

Редактирование 7/3/10: Я только что получил разрешение поделиться своими модификациями библиотеки FJCore. Я выложил проект (без примера кода, к сожалению) здесь:

http://www.alanta.com/Alanta.Client.Media.Jpeg.zip

Пример использования (очень грубый):

    public void EncodeAsJpeg()
    {
        byte[][,] raster = GetSubsampledRaster();
        var image = new Alanta.Client.Media.Jpeg.Image(colorModel, raster);
        EncodedStream = new MemoryStream();
        var encoder = new JpegFrameEncoder(image, MediaConstants.JpegQuality, EncodedStream);
        encoder.Encode();
    }


    public void DecodeFromJpeg()
    {
        EncodedStream.Seek(0, SeekOrigin.Begin);
        var decoder = new JpegFrameDecoder(EncodedStream, height, width, MediaConstants.JpegQuality);
        var raster = decoder.Decode();
    }

Большинство моих изменений касаются двух новых классов JpegFrameEncoder (вместо JpegEncoder) и JpegFrameDecoder (вместо JpegDecoder). В основном, JpegFrameEncoder записывает закодированный кадр без каких-либо заголовков JFIF, а JpegFrameDecoder декодирует кадр, не ожидая никаких заголовков JFIF, чтобы сообщить ему, какие значения использовать (он предполагает, что вы будете передавать значения каким-то другим, внеполосным способом). Он также инстанцирует все необходимые ему объекты только один раз (как "статические"), так что вы можете инстанцировать JpegFrameEncoder и JpegFrameDecoder быстро, с минимальными накладными расходами. Ранее существовавшие классы JpegEncoder и JpegDecoder должны работать практически так же, как и всегда, хотя я провел лишь очень небольшое тестирование, чтобы подтвердить это.

Есть много вещей, которые я хотел бы улучшить (мне не нравятся статические объекты - они должны инстанцироваться и передаваться отдельно), но на данный момент это работает достаточно хорошо для наших целей. Надеюсь, это будет полезно для кого-то еще. Я посмотрю, смогу ли я улучшить код/документацию/пример кода/и т.д., если у меня будет время.