Есть ли какой-либо алгоритм для преобразования 2D видео в 3D видео?

Никакого индивидуального алгоритма на скажем, но да, это возможно. Это очень тяжело. Есть люди, работающие над этой проблемой прямо сейчас. Вовлеченные алгоритмы очень сложные для записи, они не всегда работают правильно, и любое полное решение потребует большого количества мощности обработки. Любое решение будет в автономном режиме (вместо в режиме реального времени) сначала.

3D Восприятие не связано так близко к стереокопту, как вы можете поверить. Если вы думаете, что вам нужно два глаза, чтобы увидеть 3D, потом попробуйте прогуляться с очкой. Вы сделаете просто хорошо. Существует (небольшое) количество программ, в том числе каких-либо коммерческих программных пакетов, которые создают 3D-модели с наборов 2D-изображений без стерео камеры. Некоторые запускаются онлайн, построение более подробной модели, как видно.

Просто думать об этом, я могу подумать о некоторых проблемах, которые вы бы столкнулись с фильмами, в частности. Например, я мог себе представить, что матты оказываются на неверной глубине. Видео со спецэффектами от программного обеспечения, как Apple Motion, может оказаться странными артефактами.

Не совсем. Должен ли алгоритм как-то понять содержание сцены и экстраполировать информацию о глубине от этого? Помните, что 3D-видео нуждается в глубине информации. В противном случае нет способа узнать, сколько нужно компенсировать две части кадров.

Вы, вероятно, можете попробовать его, присваивая различные глубины в различные степени отсутствия фокуса, но я сомневаюсь, что что-то пригоднее.

Существуют существующие алгоритмы для извлечения 3D-форм из 2D изображений, здесь , или , например , например. Вы можете извлечь фигуры из каждого кадра видео и даже использовать несколько кадров, чтобы лучше понять формы, обнаруживая их движение.

Тем не менее, шансы состоят в том, что результаты будут нигде вблизи стандартного качества содержания 3D фильма.

На выставке CES этого года компания Toshiba Toshiba представила дисплей для телевидения, и они утверждают, что он способен преобразовывать 2D tv-сигналы в 3D. Я не знаю, дает ли это хороший результат или какой алгоритм они используют, но если они верны, то должен быть алгоритм для этого.

Но, к сожалению, я не знаю, как это можно сделать.

В Стэнфорде есть алгоритм преобразования 2D фотографий в 3D модели . Думаю, что с фильмами это должно быть еще проще, потому что тогда у вас будет несколько фотографий вместо одной, так что вы сможете извлечь гораздо больше информации о глубине, сравнивая соседние кадры.

Возможно, результаты никогда не будут такими хорошими, как при рендеринге/съемке фильма в 3D.

Нет - 3D-видео требуется, чтобы дополнительная информация (глубина) присутствуют, что просто не содержится в 2D видео.

Если у вас есть 2D-рендеринг SCEENE (например, в игрушечной истории), то его довольно легко изготовить 3D-фильм - вы просто измените угол обзора SCEENE и RE-RENDER.

В месте, где я когда-то работал, было проведено некоторое исследование по этому поводу (хотя я вообще не имел к этому отношения). Эта статья, Автоматическое извлечение 3D-моделей из бортовой видеопоследовательности может быть полезной.

Это не может работать в целом по очень простой причине: предположим, у вас есть сцена с окном в стене, показывающим пляж, и кроме того, у вас есть фотография, на которой окно в стене показывает пляж. Как алгоритм может различать их? Как с помощью глубины определить, что такое реальность, а что - просто плоская фотография?

Может быть, будет алгоритм для имитации стереоскопических представлений, но он не может быть таким же.

Причина довольно проста. В 2D-видео не только отсутствует информация о глубине (которой недостаточно для получения стереоскопического видео), но и отсутствуют скрытые поверхности, которые были бы видны с другой точки зрения.

Каждый мог подумать, что информацию о глубине можно экстраполировать из имеющейся информации, и это правда. Но недостающая информация не может быть настолько точной, чтобы иметь хороший стереоскопический эффект.

Кроме того, я слышал о системе, которая может извлекать точные 3D-модели из 8 (восьми!) Камер, направленных на одну и ту же цель. Так точно так же правильно имитировать движения одежды. Однако это делается при обработке 8 (восьми!) 2D-видео. Как можно было достичь того же результата с помощью всего лишь одного 2D-видео?

Достижение желаемого результата существенно зависит от доступности информации, а в этом случае (ИМХО) информации недостаточно. Хотя можно попытаться имитировать стереоскопический эффект из 2D-видео, но, по сути, это требует тяжелой работы, длительной обработки и, как следствие, результата низкого качества по сравнению с исходным стереоспическим видео.

Я хотел бы помнить, что трехмерное изображение создается нашим мозгом. Глаза могут захватывать только 2D-изображения, а наш мозг, обрабатывая эти два изображения, может генерировать глубину видимых объектов.