Google показал Франкенфон из пяти смартфонов

Google собрал необычное устройство, которое получило название «Франкенфон» (по аналогии с Франкенштейном). Компания описывает, как странное устройство помогало творить волшебство в портретном режиме камеры Pixel 3.

На самом деле Франкенфон – риг из 5 устройств Pixel 3, соединенных вместе в одну машину-монстр, которая способна собирать визуальную информацию для обучения всех будущих смартфонов Pixel.

Сегодня Google объяснил, как они смогли превратить сложный набор переменных в систему камеры, которая могла бы точно предсказать глубину, на которой находятся разные объекты от камеры Pixel 3. Для этого они использовали машинное обучение, которое может в конечном итоге улучшить все смартфоны Pixel.

Чтобы научить систему, Google создал Франкенфон, который одновременно снимал фотографии с 5 устройств Pixel 3. Синхронизировавшись вместе, камеры на этом мегасмартфоне смогли захватить в пять раз больше данных о глубине, что позволило конечному продукту предоставить системе Google гораздо более подробную информацию об объектах на фотографии, чем было до этого.

Благодаря этой информации, системе Google становится легче прогнозировать размер повседневных объектов и их относительное расстояние от камеры. Множество углов одного объекта, например человека, также дают системе более подробную информацию о многих разных положениях, в которых человек может сидеть или стоять.

Используя полученную информацию, Google может пропускать фотографии через нейронную сеть для вывода точной карты глубины. С этой информацией можно создавать полное размытие вокруг основного предмета, создавая «профессиональный портретный режим». Вся эта информация будет использоваться для того, чтобы пользовательские смартфоны Pixel лучше предсказывали карту глубины на фотографиях.

В результате пользователи получат не только красивые фотографии в портретном режиме, но и возможность изменять настройки после съемки с помощью приложения Google Фото. С помощью Google Фото можно изменить степень размытия и изменить точку фокусировки.