0 просмотров
Рейтинг статьи
1 звезда2 звезды3 звезды4 звезды5 звезд
Загрузка...

Вычислительная Фотография

Вычислительная Фотография

— Работает HDR+ достаточно просто: определив, что вы снимаете в темноте, камера выгружает из буфера 8-15 последних фотографий в RAW чтобы наложить их друг на друга. Таким образом алгоритм собирает больше информации о тёмных участках кадра чтобы минимизировать шумы — пиксели, где по каким-то причинам камера не смогла собрать всю информацию и лажанула.

Как если бы вы не знали как выглядит капибара и попросили пять человек описать её — их рассказы были бы примерно одинаковыми, но каждый упомянул бы какую-то уникальную деталь. Так вы бы собрали больше информации, чем просто спросив одного. То же и с пикселями.

И если HDR и HDR+ это технологии, которые позволили замаскировать кутылые возможности смартфонных матриц, то Night Sight стала первым способом обойти существенный недостаток всей цифровой фотографии как таковой: смешанного баланса белого.

Подробно я писал о проблеме в статье «Баланс белого: как было или как надо?». Вкратце суть такова: при смешанном свете мозг перекрашивает то, что видит, в нечто более оптически ему привычное.

Камеры так не умеют. А смартфоны научились.

Примерно по такому сценарию работает Night Sight. Смартфон сопоставляет источники с разной температурой света и подгоняет их друг к другу, пользуясь тем, что мир необычайно предсказуем.

Прокрасить фотографию похожим образом можно в любом фоторедакторе, но это занимает столько времени, что репортажные фотографы либо не заморачиваются с этим вообще, либо используют вспышки.

Не так с таким чисто смартфонный финтом, как задействовать информацию с двух сенсоров: чёрно-белого и цветного. Над чёрно-белым нет фильтра Байера, он получает больше информации о свете. Эта информация сочетается с информацией о цвете с другого сенсора и вуаля. Всё видно. Ни один фоторедактор такой информации из кадра уже не вытянет.

А дальше повсеместное развитие пиксель-шифтинга, который в камерах используется для повышения разрешения, а в смартфонах для цифрового зума без потери качества. Дополнительное разрешение так же задействуется и для компенсации смазов. Понимаете, да? Использовать тряску рук для компенсации тряски рук. Максимально изящно.

Таким образом, телевики и объективы с огромными диафрагмами с переменным уже успехом подменяются. В свою очередь никакая современная оптика не позволяет менять точку фокусировки пост-фактум.

Фотографические компании вкладывают огромные деньги в совершенствование автофокуса, в том время как IT-компании просто учат смартфоны менять точку фокуса пост-фактум.

— Вы не видите своего носа, потому что мозг склеивает вам итоговое изображение из двух разных глаз. Закройте один и вы заметите с краю целую египетскую пирамиду.

Тот же эффект достижим в пленоптической камере. Собрав сдвинутые относительно друг друга изображения из пикселей разных кластеров, мы сможем посмотреть на предмет как будто с нескольких точек. Прямо как наши глаза. Что открывает нам две крутые возможности: оценку примерного расстояния до объектов, что, как и в жизни, позволяет нам легко отделить передний план от заднего, а так же, если размеры объекта небольшие, позволяет полностью удалить его из кадра. Как нос. Оптически, по-настоящему и без фотошопа.

Из приходящих на ум примеров применения: вырезать деревья между камерой и объектом или удалять падающие конфетти, как на видео ниже.

Малая ГРИП – ✓.
Телерасстояния – ✓.
Фокус – ✓.

Да ничего уже не осталось. Теперь фотография стала по-настоящему цифровой.

Что такое вычислительная фотография и как к ней пришли IT-корпорации

Однажды вы пригласите фотографа запечатлеть семейное торжество, а он придет… без фотоаппарата. И начнет снимать на смартфон. «Халтура!» – возмутитесь вы. Но если согласитесь продолжить съемку, то к своему удивлению получите вполне «профессиональные» фотографии, в которых ничто не выдаст «низкое» происхождение. В чем подвох?

Свой ответ на этот вопрос дала серия анонсов флагманских смартфонов, которую с начала февраля провели Samsung, Xiaomi и другие бренды. Как повелось в последние годы, в первую очередь они щеголяли их камерами, превратившимися из приятного бонуса в центральную функцию мобильников. Однако ни число матриц и объективов, ни другие горячо обсуждаемые характеристики не дают представления, за счет чего удалось добиться прорыва в мобильном камеростроении.

Главным ноу-хау стали методы обработки кадра с участием искусственного интеллекта (ИИ). Называемые в совокупности вычислительной фотографией, они усложняются с каждым поколением моделей и до неузнаваемости преображают зафиксированный камерой световой поток. Таков очередной этап эволюции фототехники, всегда стремившейся к компактности и быстродействию. От волшебства, творимого с помощью опасных химикатов в темной комнате, это привело фотографию к простейшим «однокнопочным» устройствам с почти неограниченным ресурсом.

Пока знатоки спорят о смелых решениях вычислительной фотографии, публика голосует рублем, предпочитая смартфоны «полноценным» камерам. Не стоит ждать полного исчезновения «зеркалок»: часть пользователей не примет новую технологию так же, как в свое время мастера пленочной эпохи в штыки встретили «цифру». И все же в долгосрочной перспективе мобилография ставит под угрозу существование именитых японских фотоконцернов. В последние годы они, хотя и обозначили стремление бороться за аудиторию, сильно уступают производителям смартфонов по темпам развития. И в результате уходят от прямой конкуренции, перебрасывая усилия с исчезающего рынка любительских аппаратов на продукцию элитного уровня.

Это лишь начало тех процессов в мире мультимедиа, которые запускает тотальная смартфонизация. Как ожидают эксперты, вскоре вычислительная фотография перейдет от компенсации недостатков мобильного «железа» к созданию некой улучшенной копии действительности, где уже нельзя будет отделить фотографию от компьютерной графики, а настоящую реальность от дополненной. Вслед за тем разработка пленоптических, вживляемых и других типов камер приведет к появлению новых аудиовизуальных техник и жанров искусства. Как это происходит, можно проследить на примере дрон-фотографии.

Впору будет заново формулировать смысл фототехнологий: зачем мы пытаемся «удержать мгновения», коллекционируем картинки – доказательства жизни? Впрочем, привычка задаваться подобными вопросами к тому времени может полностью атрофироваться.

«Профиль» запускает серию материалов о том, как сегодня устроены фототехнологии и почему их дальнейшая эволюция обещает переворот на рынке электроники и в нашем восприятии мира.

Революционные 2010-е

Эксперименты с цифровой фотографией начались в 1970-х, а на массовый рынок технология вышла в конце 1990-х, почти одновременно породив два типа устройств: «зеркалки» и камерофоны. Первый фотоаппарат современного типа (Canon EOS D2000, 1998 год) всего на пару лет опередил мобильники с «глазком» в задней крышке (Kyocera VP-210 и Sharp J-SH04, 2000-й). С тех пор наличие камеры стало маркетинговой приманкой телефонов всех форм и марок, но долгое время о конкуренции с фотоаппаратами речи не шло: возможности «старших братьев» были несравнимо выше, а плюсы мобилографии исчерпывались концепцией «камеры, которая всегда с тобой».

Кстати, в середине 1990-х разработчики полагали, что камера в мобильнике понадобится только для видеозвонков – на прототипах она располагалась спереди, примыкая к экрану, и лишь затем была убрана на тыловую панель. Но пользователи камерофонов вдруг принялись снимать все подряд, и в 2000-х фронтальные камеры пришлось вернуть уже с другой целью – ради селфи.

Постепенно идея целиком скрестить телефон с фотоаппаратом, «упаковав» достоинства последнего в карманный девайс, все сильнее захватывала умы разработчиков. На рынке появились мобильники с зум-объективами: от Nokia N93 2006 года с трехкратным зумом до моделей Samsung начала 2010-х с десятикратным, внешне напоминавших компакт-камеры («мыльницы»). А в 2012 году Nokia 808 PureView сравнялась c «мыльницами» по площади сенсора – 1/1,2 дюйма.

Но прорывными эти модели не стали – габариты смартфонов росли быстрее, чем качество снимков. В итоге производителям пришлось смириться с тем, что по физическим параметрам за фотокамерами не угнаться, и пойти совсем в ином направлении.

Тут можно вспомнить мультфильм «Крылья, ноги и хвосты»: зачем страусу равняться на грифа, пытаясь набрать высоту? У него слабые крылья, зато быстрые ноги – значит, можно добежать до пункта назначения, пока гриф летит.

Фотография: от античности до наших дней

Китайские и древнегреческие философы впервые упоминают камеру-обскуру – метод проецирования светового рисунка через отверстие в стене темной комнаты

Камера-обскура находит применение в астрономических наблюдениях, а затем в живописи Ренессанса

Начало экспериментов со светочувствительными материалами. В 1725 году химик Иоганн Шульце обнаружил «отпечаток» фотонов (частиц света) в растворе хлористого серебра

Томас Веджвуд получает изображение силуэтов на бумаге, пропитанной светочувствительным раствором, но не может его сохранить: силуэты исчезают под дальнейшим воздействием света

Нисефор Ньюпс, используя открытый им метод гелиографии и камеру-обскуру, создает «Вид из окна в Ле-Гра» – старейшее из дошедших до нас фотохимических изображений

Год официального изобретения фотографии. Луи Дагер представляет аппарат для получения позитивного отпечатка на медной пластине с серебряной эмульсией – дагеротип

Сразу же появляется альтернативный метод – калотипия Фокса Тальбота. В отличие от дагеротипа, он позволяет получить негатив, а уже с него печатать позитивы. Решена проблема тиражирования фотоснимков

Йозеф Пецваль создает первый светосильный объектив (f/3,7). Для получения кадра больше не нужна многоминутная выдержка, что открывает дорогу для портретной съемки. Начало эпохи фотоателье

Первая цветная фотография в истории – «Тартановая лента» Томаса Саттона

Ричард Мэддокс представляет технологию желатиносеребряного фотопроцесса, объединившего преимущества дагеротипии и калотипии. Аналоговая фотография основана на нем по сей день

Джордж Истмен меняет металлические пластины на гибкий фотоматериал – рулонную целлулоидную пленку. Основана компания Eastmen Kodak, заточенная на максимальное упрощение фототехнологий

Eastman Kodak выпускает камеру Brownie по рекордно низкой цене – $1. Начало эпохи массовой фотографии

Компания Carl-Zeiss-Stiftung патентует «Планар» и «Тессар» – самые популярные оптические схемы объективов по сей день

Из кино в фотографию приходит пленка 35 мм. Это позволяет уменьшить камеры до карманных и наладить серийный выпуск дальномеров

Доминирование немецкой фотоиндустрии. Успехи компаний Voightlander, Contax, Ernst Leitz (Leica)

В продажу поступают первые цветные фотопленки – Agfacolor Neu и Kodachrome

Первый фотоаппарат, проявляющий снимки сразу после экспонирования, – Polaroid Land 95. Начало эпохи моментальной фотографии

Формирование японской фотоиндустрии. Рыночные успехи компаний Nippon Kodaku (Nikon), Canon, Minolta, Asahi Optical (Pentax), Fujifilm

Первый фотоаппарат с автоматическим фокусом – Canon AF-35M

Начало экспериментов с электронной фотографией – сохранением изображения на кремниевую микросхему, покрытую светочувствительными фотодиодами. Снимки разрешением 100х100 пикселей записывались на магнитную ленту

Kodak выпускает в продажу фильм-сканер – устройство для оцифровки пленочных негативов. Появляется возможность компьютерного редактирования снимков

Появление термина «мегапиксель», программы Adobe Photoshop и файлового формата JPEG

Первый цифровой фотоаппарат современного типа – Canon EOS D2000. До этого матрица крепилась к фотокамере в составе «цифрового задника»

Первый мобильный телефон со встроенной камерой – Kyocera VP-210

Стоимость цифровых «зеркалок» падает ниже $1 тыс. Массовая миграция любительской фотографии с пленки на «цифру»

Появление режима видеосъемки в «зеркалках». Panasonic выводит на рынок беззеркальные фотокамеры

Появление смартфонов с несколькими фотомодулями и «интеллектуальной» обработкой изображения. Начало заката фотоаппаратов как отдельного устройства

Начало экспериментов с фотографией светового поля. Выпуск первых пленоптических камер компанией Lytro

С середины 2010-х рост матриц в камерофонах остановился: последние несколько поколений iPhone и Samsung Galaxy обходились 1/2,55 дюймовым сенсором (лишь в анонсированной на днях модели Galaxy S20 он увеличен до 1/1,3 дюйма). Это повторяет развитие цифровых камер, которые тоже не стали копировать пленочные размеры кадра, и в результате аналоговые 35 мм превратились из «малого формата» в цифровой «полный кадр». Средний и большой форматы ушли на периферию рынка, зато появились «кропнутые» сенсоры: 35-миллиметровый кадр, уменьшенный в полтора-два раза. Миниатюризацию матриц цифровая фотография компенсировала принципиально новым качеством – высоким попиксельным разрешением снимка.

Читать еще:  3DNews-2016. Ключевые IT-события прошедшего года в публикациях нашего сайта

А вот трюк, на который пошли производители смартфонов: в помощь к одной камере добавить еще несколько, благо места на задней панели предостаточно. В 2014 году HTC One стал первым смартфоном с двумя тыловыми фотомодулями, к 2018-му стандартом рынка стала связка из трех камер, а в 2019-м вышла первая пятикамерная модель – Nokia 9 PureView, наследница и антипод той самой 808 PureView с единственной суперматрицей.

Но даже если усеять заднюю крышку камерами, это мало что дало бы, не используй мобильники свое главное преимущество – наличие под крышкой мощного «центра управления полетами», то есть собранной сенсорами информацией. Это позволило заменить оптический конструктив «зеркалок» сложными цифровыми преобразованиями.

На передовой прогресса

Быстрый доступ к достижениям IT-индустрии за считанные годы превратил смартфон из сугубо «походного» девайса в мини-компьютер. Если 1990-2000-е стали временем реализации «закона Мура» (формуле, гласящей, что производительность кремниевой микроэлектроники удваивается каждые 24 месяца) для домашних устройств, то в 2010-е пришло время портативных.

Сегодня, судя по тестам, мобильные чипы Apple Bionic и Qualcomm Snapdragon сопоставимы с «начинкой» настольных ПК (их даже начали внедрять в ноутбуки, переворачивая иерархию гаджетов: теперь на передовой прогресса смартфон, а десктоп – его увеличенная версия). Не отстают показатели оперативной памяти (до 12 Гб) и внутреннего накопителя (до 1 Тб), постоянно шлифуются операционные системы (сегодня кажется недоразумением, что к суперматрице Nokia 808 PureView прилагалась простейшая ОС Symbian).

Все это сделало возможным развитие нейросетевых программ, которые отличаются от обычных способностью самостоятельно регулировать настройки, запоминая реакцию пользователя. Первоначально искусственный интеллект в смартфоне (например, в виде голосового ассистента) был проекцией облачного сервиса: в самом девайсе не хватало мощности для ИИ-вычислений и емкости для хранения обучающей выборки, поэтому он постоянно обращался к интернет-ресурсам. Однако с выходом на рынок нейроморфных чипов (NPU – neural processor unit), первым из которых был Huawei Kirin 970, мобильники получили собственный «мозг», работающий без подключения к Сети. С каждым днем «умные» гаджеты все точнее ориентируются во вкусах своего хозяина, и кто знает, как мутирует их функционал через десяток лет, когда они будут знать всю нашу подноготную…

Сам термин «вычислительная фотография» (computational photography) появился еще в конце 2000-х в исследованиях профессора Стэнфордского университета Марка Левоя. Он определил ее как набор компьютерных изобразительных приемов, расширяющих возможности фототехники. Главный тезис Левоя: съемка – лишь начало создания кадра, программная «доводка» – обязательный второй этап.

Первыми пробами пера стали фильтры Instagram (2010 год), режим Auto Enhance в iOS 5.0 (2011-й)… И понеслось: гонка камерофонов запомнится как одна из примет 2010-х, в исторической перспективе не уступая ажиотажу вокруг дагеротипии в середине XIX века или появлению малоформатной пленки в начале двадцатого.

Что любопытно, никто не смог победить: судя по авторитетному рейтингу DxOMark, показатели лидеров рынка – Samsung, Huawei и Apple – примерно равны. В 2020 году фотовозможности смартфона определяются не брендом, а ценовой категорией; во флагманских аппаратах инновации внедряются всеми одновременно. Это позволяет рассматривать вычислительную фотографию не как историю корпоративной борьбы, а шире – как достижение человечества.

Вычислительная фотография (обновление)

Я уже давал ссылку на крайне познавательную статью Вастрика о вычислительной фотографии. Как выяснилось, он эту статью за прошедшее время неоднократно дорабатывал и дополнял, так что ее имеет смысл прочитать даже тем, кто уже читал старую версию. А уж тем, кто не читал — так и вовсе обязательно к прочтению: для понимания того, каким образом производители смартфонов ухитряются добиваться таких блестящих результатов с малюсенькой матричкой и никакими объективами — «Вычислительная фотография».

Также еще очень интересна статья на ту же тему, но уже от фотографа для фотографов — Георгий Джеджея «Как победит вычислительная фотография».

Ну и маленький эксперимент. Два 100-процентных кропа — один со снимка, сделанного на зеркалку Full Frame, другой — со снимка, сделанного на смартфон. Какой из них сделан на смартфон, а какой на зеркалку? Давайте будем называть их «Первый» и «Второй» — в порядке следования.

Upd: Первый снимок — на Xiaomi Mi Note 10 в режиме 108 Мпикс. Второй — Canon EOS 6D. Со вторым снимком почти ничего не делал, только чуть-чуть подкрутил HDR, чтобы было хоть как-то похоже на первый снимок, где HDR все выдает, но он там, зараза, неотключаемый для режима 108 Мпикс, который так и называется 108 Ultra HD.

Извините, но как 10% кроп со снимка 108 МПикс. и в 20 МПикс. (с размером пикселя меньше в 2+ раза) может быть одинакового размера?

Вот второй снимок просто с добавлением шарпа.

Это пока не попробуешь нормальный фотик.

Я лет 5 назад начал снимать на простенькую Соньку a6000, люди ахали. Потом на неё же начал концерты писать, просто купив нормальный внешний микрофон.

Сейчас уже у меня Sony A7III с парой объективов-фиксов (в том числе серии G Master), у девушки a6300 с объективами от Сигма- и хочется плакать кровью при взгляде на материалы с телефонов в среднестатистическом Инстаграме.

Небо и земля, даже без каких-то серьезных заморочек с лайтрумом/фотошопом.

Я хорошо помню те времена, когда переходили с традиционной фотографии на цифру, «плёночники» говорили: «у цифровой фотографии нет души, она полностью мертвая». Сейчас переходят с обычных фотоаппаратов на смaртфоны, и фотоаппаратчики говорят примерно тоже самое, что в свое время говорили плёночники: «в фотоснимках смартфонов нет души, там все искусственное».

Ну, в общем, зерно правды все-таки есть. Если на обычную зеркалку снимать фотографию, то, скорее всего, снимок получится очень близкий к оригиналу. А автоматические улучшатели смартфона дорисуют и приукрасят фотографию почище Фотошопа. С одной стороны хорошо, особенно для обычного человека. Смарфтон приукрасит фотографии своей обработкой. Но с другой сторону, это тоже минус, хотя бы в профессиональной деятельности. Если сфотографирую зеркалкой старую картину, цвета которой полностью выцвели из-за старости, то зеркалка (в ручных настройках) отобразит примерно схожий с оригиналом результат. Но если я сфотографирую такую картину на смартфон, то на снимке будет: «а в гробу лежал — ну как живой» (с).

Что касается угадать снимков, то, скорее всего, первый снимок сделан на смартфон, а второй сделан зеркалкой, где умышленно выставляются такие параметры, чтоб максимально ухудшить изображение.

манная каша вместо туи? Данунафиг.

Первый — смартфон т.к. нет резкого перехода между светом и тенью, похоже на HDR.
Второй — камера ФФ.

Хотя по четкости выигрывает первый кроп.

Учитывая глобальный тренд на беззеркалки, у которых и так с аккумом не очень (ну т.е. не то чтобы совсем уж плохо, но до обычных зеркалок ещё ой как далеко), давайте прикинем что получится, если камеру ещё и вычислениями нагружать. Спойлер: грустно всё будет.

Имхо, тут разница в подходе.
Использование традиционной камеры предполагает дальнейшую обработку в соответствующем софте, который тоже уже давно умеет в вычислительную фотографию. Поэтому здесь важнее хороший исходник, коим является raw.
А смартфон позволяет получить более-менее годный результат прямо сейчас, но представляет гораздо меньше пространства для манёвра. Что нейросеть слепила, то и будет.

Т.е. вопрос, на самом деле, в расстановке приоритетов между удобством и конечным результатом. Конечно, смартфоны и дешевле (если брать хороший такой парк фототехники — приличную фф-камеру + набор годной оптики + свет), и уж точно удобнее. Но если обработать фотографии в условном лайтруме, который уже давно умеет в нейросетки и хитрые алгоритмы, результат точно будет лучше.

Battery Life
Sony A7 III: 610 frames with EVF, 710 frames with LCD
Canon 6D II: 1,200 frames with viewfinder, 380 frames with LCD

Быстро нагуглил пример, помню, когда A7III только вышла было больше данных, но все они примерно такие: ещё не идеально, но уже намного лучше, чем раньше (с выходом A7III была представлена новая батарейка и она сильно лучше (больше по ёмкости — как минимум), чем были в A7II и аналогах у Сони). Раньше было в лучшем случае 200-250 кадров, сейчас уже 600 — большинству нормально. С другой стороны, у Кэнона почти также падает автономность при съёмке через дисплей, в то время как у Сони она даже возрастает (что даже странно).

Но вся соль в том, что, опять же, их нельзя сравнивать «в лоб». С одной стороны, зеркалка рулит, ибо при съёмке через видоискатель вы сделаете 1000+ кадров. С другой стороны, в этот видоискатель вы не увидите Live View (какой получится кадр в итоге), не видите настройки (иногда полезно прямо через видоискатель быстро что-то поменять). Плюс у зеркалок НЕОБХОДИМО снимать через оптический видоискатель, чтобы получить наилучший результат по фокусу (ибо датчики фокуса находятся не на самом сенсоре, а отдельно и снимают картинку с зеркала). При съёмке по дисплею теряем хороший автофокус (то же самое касается при съёмке видео, которое, кстати, через видоискатель вообще снимать не получится). Плюс чтобы оценить получился ли кадр всё равно нужно отрывать глаз от видоискателя и смотреть результат на экране. Плюс в оптический видоискатель может быть совершенно невозможно построить кадр, например, в яркий солнечный день или наоборот, ночью.

С другой стороны, всегда считалось, что контрастный автофокус хуже, чем фазовый, хотя сейчас его уже, вроде бы, неплохо допилили. При съёмке по Live View есть небольшой «лаг» — отставание картинки, сложно снимать быстро движущиеся объекты (животных, спорт). С другой стороны, теряя количество кадров от одной батарейки получаем кучу удобных и полезных плюшек (Live View, бесшумную съёмку, съёмку без затемнения кадра), высокую скорострельность (не нужно зеркалом махать), меньший размер и вес камеры.

Короче, тут яблоки и апельсины, если по функциям и их реализации. Да и по автономности палка о двух концах.

Ну вообще да, меряют в количестве кадров, конечно, только когда я о количестве кадров говорю всё ещё хуже, потому что цифры, которые обзорщики камер публикуют, а они в массе своей ни разу не практикующие фотографы, а те что фотографы, чаще снимают непонятно что, так вот они берут цифры обычно из спеков камер, а там они согласно методике по стандарту CIPA, которая к реальной фотографии имеет отношение околонулевое и вообще синтетика. Когда я говорю о смене, я имею ввиду конкретный рабочий день — это может быть свадьба с 9 утра и до полуночи, включая сборы и банкет, это может быть съёмка трёх повторов шоу с утра и до вечера, это может быть рекламная съёмка зимой в -27 в Якутии с 8 утра и до заката в 15, плюс потом ещё в студии до 20. Это может быть съёмка в Провансе в лавандовых полях клиентская, когда ты три часа снимаешь до рассвета и на рассвете и три часа перед и после заката. То есть то, что мы с женой обычно снимаем коммерчески. И всегда, во всех ситуациях, у нас остаётся ещё очень много аккумулятора, при том что в количестве дублей мы себе не отказываем. По сути, только на свадьбах бывает момент, когда ближе к ночи батарейка подходит к 10% и на всякий случай меняется на запасную, но это бывает очень редко. Я могу по пальцам пересчитать случаи, когда мы использовали запасной аккум. С видео очень похожая история, там за смену 2 аккума уходит, а если это долгая запись, то камера вообще от пауэрбанка ест.

Читать еще:  Телеграмма из Найт-Сити: следующий показ Cyberpunk 2077 назначен на 11 июня

Но ок, давайте в количестве кадров 😊 Вчера снимал чемпионат мира по рок-н-роллу, посадил на Sony A9 II в ноль 1 (один) целый аккумулятор — снимал больше чем нужно, чтобы собрать материал для обзора этой камеры. Первый кадр сделан в 15:12, последний в 21:06, то есть я долбил сериями выступающих почти шесть часов. Отснято 11.434 (одиннадцать с половиной тысяч) RAW+JPG, это 332 гигабайта в сумме. Помимо этого ещё 8 минут на ту же камеру снято видео в 4K/30 и 1080/120, просто для теста и перебивок к обзору и приличное количество футажа на рекордер для демонстрации работы автофокуса при съёмке танцев.

Я о том что БЗК нормально живут рассказываю несколько лет. У соней это случилось с приходом батареек FZ100, у олимпусов с BLH-1, но и до этого эти камеры могли снимать очень много. Просто есть специфика.

Так основное энергопотребление — экран. Ну и не снимаем со счетов некоторую архаичность процессоров и аккумуляторов. Современные мобильные процессоры 7нм совсем мало потребляют, учитывая что в аппаратах им не потребуется 3D игры запускать, да многозадачную ОС крутить.

Имхо до половины покупателей аппараты используют в режиме авто, неспроста на кропы расширяют различные пресеты съемки JPG. К сожалению RAW уже недостаточно (разве что у топовых фулфреймов), потому вычислительное фото и поджимает. Неплохо было б совместить RAW с использованием той же шевелёнки для увеличения разрешения и чувствительности.

Звёздное небо, скажем, снимают таймлапсами, и потом, чтобы ярче проявить Млечный путь, например накладывают пару десятков снимков друг на друга.

Ну, и брекетинг на обычных фотоаппаратах тоже никто не отменял.

Я к тому, что не всегда в лайтрумах/фотошопах правят единичный кадр.

Кажется уже только ленивый не отписался что первый обработанный смарт, второй зеркалка?
Ну простите — на кропе то очевидно видно на первом кадре обработку. Даже мне который ни бельмеса в этой теме, тем не менее очевидно видно что первый кадр вовсю «намазывался» алгоритмами. которые в случае кустиков может хорошо отраболтали, а вот в случае тротуарный плитки, бордюров столь очевидно все замазали.

Подождем ответа удостовериться в предположении. Забавно будет если окажется наоборот. Но ИМХО чуда пока не случится.

Всё это понятно и правильно, и именно поэтому нет смысла сравнивать кропы с джипегов зеркалок и смартфонов.

Это как сравнивать Ferrari 488 GTB и BMW 760. Обе едут 0-100 «меньше 4 сек» (это наши условные 16-24 Мп, близко же), обе едут больше 300, обе дорогие понтовые тачки. А потом взять и сказать: а теперь давайте проедемся на них по МКАДу! Вот видите, едут они одинаково ибо ямы, пробки, камеры и ограничения скорости. Но прикол в том, что Ferrari может и по МКАДу и по треку, а вот BMW по треку уже не сможет, ибо масса, габариты, шины и тормоза перегреются и т.д. Хотя полный привод, технологии и электроника будут пытаться, но отставание от Ferrari будет явным и безоговорочным.

Аналогия неидеальная, но достаточно близкая.

Да я же не против сравнения как такового. Плохо то, что сравнивают в лоб и нам как бы говорят: вот, смотрите, смартфон круче зеркалки. И те же наушники с Али за 800 не сравнивают с ламповым усилком и соответствующими динамиками и проводами, играя на нём МР3 в 128 Кбит, записав это всё на микрофон ноутбука и не выдают нам за «смотрите: никакой разницы!».

Это я не камень в огород Экслера, а вообще. Некорректные сравнения как раз тем и опасны, что фотографы всё понимают, а обыватели подумают, что и правда зеркалки нафиг не нужны уже (тут, кстати, пара таких комментариев уже попадалась).

Если ЦА хочет снимать джипеги на зеркалки — да ради Бога! Это их деньги, их зеркалки и их фотки. Просто обидно, что Экслер, как человек разбирающийся в технике и пишущий обзоры на разнообразную технику делает такие посты, которые выглядят со стороны как откровенные вбросы. Короче, меня именно от самого сравнения бомбит, то, что телефоны круто снимают я же не отрицаю.

Да что там — даже встроенной памяти в камеры не завезли! Идиоты!

Но тут аналогия с машинами — до недавнего времени (лет 5 назад) там ставили ДИВИДИ-ШМИВИДИ с чейнджером в багажнике, радио и экраном АЖ в 5 дюймов и разрешением 800х480, например. За 700-800 баксов! Камера заднего вида — за доплату. Когда в каждом китайском планшете уже был HD-FHD экран дюймов в 8-10, 16/2Гб минимум, куча ядер, ви-фи, камеры и клавиатура в придачу, за 200 баксов. Появилась Тесла и все зачесались — у ВАГа модные «виртуальные» приборки, все стали лепить большие экраны в медиацентры, допилили интернет и даже стриминговые сервисы и т.д. и т.п. Наконец-то стали встраивать зарядки для гаджетов в машины, уже даже в формате USB-C, иногда даже на задних сиденьях, а не как раньше — один прикуриватель и с него через китайские разветвители кормятся навигатор, регистратор, заряжается 2 смартфона водителя, смартфон пассажира и т.д.

На рынок камер срочно нужен какой-то пришибленный гений, вроде Джобса или Маска, который расскажет что он все эти «традиции» на USB-C вертел)

Вычислительная фотография — Computational photography

Вычислительная фотография относится к цифровым методам захвата и обработки изображений , которые используют цифровые вычисления вместо оптических процессов. Вычислительная фотография может улучшить возможности камеры, или ввести функции , которые не были возможны на все с пленкой на основе фотографии, или уменьшить стоимость или размер элементов камеры. Примеры вычислений фотографий включают в камере вычисление цифровых панорам , изображения с высоким динамическим диапазоном , и легкие полевые камеры . Камеры светового поля используют новые оптические элементы , чтобы захватить трехмерный информацию сцены , которая затем может быть использована для создания 3D — изображений, улучшенная глубины резкости , а также селективный де фокусировки (или «пост фокуса»). Улучшенная глубина резкости уменьшает потребность в механических фокусирующих систем. Все эти функции используют вычислительные методы визуализации.

Определение расчетной фотографии эволюционировал , чтобы охватить целый ряд предметных областей в области компьютерной графики , компьютерного зрения и прикладной оптики . Эти области приведены ниже, организованы в соответствии с таксономией , предложенной Шри К. Наяром . В каждой области представляет собой список методов, и для каждого метода один или два репрезентативных документы или книги цитируются. Преднамеренно исключено из систематики являются обработки изображений (смотрите также цифровую обработку изображений ) методы применяются традиционно захваченных изображения для получения лучшего изображения. Примерами таких методов являются масштабирование изображения , сжатие динамического диапазона (т.е. отображение тона ), управление цветом , завершение изображения ( так называемый inpainting или заполнение отверстия), сжатие изображения , цифровые водяные знаки и художественные эффекты изображения. Кроме того, опущены методы , которые производят данные диапазона , объемные данные , 3D модели , 4D световых полей , 4D, 6D или 8D ДФО , или другие высокого трехмерного изображения на основе представлений. Эпсилон Фотография является подполе вычислительной фотографии.

содержание

Вычислительный освещение

Это контроль фотографическое освещение в структурированном виде, то обработка захваченных изображений, создавать новые образы. Приложения включают в себя изображения на основе, повторный запуск повышения качества изображения, размытых изображений , восстановление геометрии / материала и так далее.

изображений высокого динамического диапазона использует по-разному подвержены фотографии одной и той же сцены, чтобы расширить динамический диапазон. Другие примеры включают в себя обработку и объединение по-разному освещенных изображений одного и того же предмета ( «lightspace»).

Вычислительная оптика

Это захват оптически кодированных изображений, а затем вычислительного декодирования для получения новых изображений. Кодовые диафрагмы формирование изображение в основном применяется в астрономии или рентгеновских изображениях , чтобы повысить качество изображения. Вместо одного микроотверстия, обскура шаблон применяется в визуализации, и деконволюции выполняется для восстановления изображения. В кодированного изображения экспозиции , вкл / выкл состояние затвора кодируется , чтобы изменить ядро размытия движения . Таким образом , движение размытое становится хорошо обусловленной проблемой . Аналогичным образом , в основе линзы кодированной апертуры, диафрагма может быть изменена путем введения широкополосной маски . Таким образом, в фокусе размытые становится хорошо обусловленной проблемой . Кодированные диафрагмы могут также улучшить качество в приобретении светового поля с помощью оптики преобразования Адамар.

Закодированные образцы диафрагмы также могут быть разработаны с использованием цветных фильтров, для того, чтобы применить различные коды на разных длинах волн. Это позволяет увеличить количество света, которое достигает датчика камеры, по сравнению с двоичными масками.

Вычислительная томография

Вычислительная визуализация представляет собой набор методов визуализации , которые сочетают сбор данных и обработку данных для создания изображения объекта с помощью косвенных средств , чтобы получить улучшенное разрешение , дополнительную информацию , такие как оптическая фаза или 3D — реконструкцию. Информация часто записывается без использования обычной конфигурации оптического микроскопа или с помощью ограниченных наборов данных.

Вычислительная томография позволяет выйти за пределы физических ограничений оптических систем, такие как числовая апертура , или даже уничтожает необходимость оптических элементов .

Для части оптического спектра , где элементы изображений , такие как цели являются трудно изготовить или датчики изображения не могут быть миниатюрными, вычислительная томография обеспечивает полезные альтернативы, в таких областях, как X-Ray и ТГц излучения .

Общие методы

Среди распространенных вычислительных методов визуализации являются безлинзовыми изображениями , вычислительная спекл изображений, птихография и птихография Фурье .

Вычислительная техника отображения часто опирается на сжатие зондирования или фазовых поисковых методов, где угловой спектр объекта реконструируется. Другие методы связаны с области вычислительной визуализации, такие как цифровая голография , компьютерное зрение и обратные задачи , такие как томография .

Вычислительная обработка

Это обработка не-оптический кодированные изображений для создания новых изображений.

Вычислительные датчики

Эти детекторы , которые сочетают в себе зондирование и обработка, как правило , в виде аппаратных средств, как передискретизация двоичного датчика изображения .

Ранние работы в области компьютерного зрения

Хотя вычислительная фотография является в настоящее время популярным модным словом в компьютерной графике, многие из его методов впервые появились в литературе компьютерного зрения, либо под другими названиями или в работах, направленных на 3D-анализа формы.

История искусства

Вычислительная фотография, как вид искусства, практикуется захватом по- разному выставленных картин одного и того же предмета, и комбинируя их вместе. Это был вдохновением для развития носимого компьютера в 1970 и в начале 1980 — х годов. Вычислительная фотография была вдохновлена работой Чарльза Уайкофф , и , таким образом , вычислительные фотографии наборов данных (например , по- разному подвергаются фотографий одного и того же предмета, которые принимаются для того , чтобы сделать один составное изображение) иногда называют наборы Викофф, в его честь.

Читать еще:  Pebble: оптимизм с летальным исходом

Ранние работы в этой области (совместной оценке проекции изображения и величина экспозиции) была проведена Манной и Candoccia.

Чарльз Викофф посвятил большую часть своей жизни на создание специальных видов 3 слоя фотопленки, захвативших различные воздействия одного и того же предмета. Картина ядерных взрыва, взятых на пленке Викофф в, появилась на обложке журнала Life и показала динамический диапазон от темных внешних областей к внутреннему ядру.

Зрячая математика

Как смартфоны научились снимать не хуже зеркальных камер

Еще не так давно производители смартфонов стремились подчеркнуть, какой замечательной камерой снабжена та или иная модель. Пользователи хвастали количеством мегапикселей и полагали, что чем чувствительнее матрица, тем лучше она будет снимать. На самом деле развитие возможностей смартфонов в области фотографии пошло по другому пути. Не так важно, какая у вас стоит камера, куда важнее, какие алгоритмы ею управляют. Рассказываем о возможностях вычислительной фотографии, превращающей обычный смартфон в настоящую фотостудию.

Традиционно цифровой снимок, в том числе снятый на смартфон, представлял собой довольно простую операцию. Камера (или дотошный фотограф) выбирает параметры съемки, после чего матрица начинает записывать падающий на нее свет. Получившееся «сырое» изображение можно было обработать, добавив ему резкости или немного подправив цвета фильтрами, а можно было выложить в Instagram в исходном виде.

Однако сегодня в мобильной фотографии применять термин «в исходном виде» фактически бессмысленно. Дело в том, что кадр, доступный в галерее сразу после съемки, — это на самом деле продукт многостадийной обработки алгоритмами, и именно от них, а не от матрицы или объектива, в первую очередь зависит качество получившегося снимка.

Многие методы, применяемые в вычислительной фотографии, или лежащие в их основе принципы разработаны уже давно, но именно в последние годы они, наконец, стали доступны пользователям самых обычных смартфонов. Кроме того, как и во многих других сферах, резкий прогресс в качестве мобильной фотографии произошел благодаря развитию алгоритмов машинного обучения и росту мощности мобильных процессоров.

В сущности, простое программное повышение резкости снимка, которым многие производители смартфонов увлекались (порой чересчур) много лет назад, формально относится к вычислительной фотографии, потому с его помощью разработчики компенсировали низкое качество объектива или отсутствие стабилизации. Но, конечно, странно было бы называть столь банальную функцию стартовой точкой расцвета вычислительной фотографии.

Уподобляясь глазу

Настоящий переломный момент должен быть связан с внедрением технологии, способной дать технике качественно новые возможности, намного превосходящие элементарное улучшение объектива или других частей камеры. Такой момент наступил, когда в смартфонах начали применять алгоритмы HDR (High Dynamic Range — «расширенный динамический диапазон»).

Динамический диапазон означает способность матрицы отображать в одном кадре как очень светлые, так и очень темные участки. Например, когда мы выходим днем на улицу и распахиваем подъездную дверь, мы видим как темные стены подъезда, так и гораздо более ярко освещенную улицу. Однако для фотоматриц, тем более мобильных, с такой же ловкостью совместить яркие и темные участки на одном снимке — все еще достаточно сложная задача.

Для таких ситуаций давно придумано решение — брекетинг. Суть его заключается в том, что фотоаппарат делает не один, а два или больше кадров с разной экспозицией. Часто применяется схема с тремя кадрами: экспозиция первого кадра оптимальна для «усредненного» по яркости снимка, второй кадр сосредотачивается на его темных областях, а третий — на светлых.

Кадры делаются быстро, поэтому их нетрудно сразу же наложить друг на друга, соединив в одну качественную фотографию. На ней, конечно, останутся более темные и более светлые области, но не будет пересветов и черных пятен. Получившийся снимок сохранит детали на всех частях кадра и будет показывать мир примерно таким же, каким его видят наши глаза.

В современных смартфонах простой вариант HDR появился давно, но разработчики, естественно, не остановились на достигнутом.

В 2013 году Google представила смартфон Nexus 5 с алгоритмом HDR+. Из названия ясно, что это «прокачанный» HDR. Под его руководством камера делает большую серию снимков с одинаковыми параметрами и одинаковой для всех короткой выдержкой, так чтобы все кадры получились недосвеченными.

Затем алгоритм выбирает самый четкий снимок и принимает его за основу. С ним совмещаются все остальные с учетом их яркости так, чтобы в результате получился четкий снимок, во всех областях которого можно разглядеть детали.

За счет дрожания рук

Дальнейшее развитие HDR в основном пошло по этому пути и «перекочевало» в ночной режим, заменив длинную выдержку. Во-первых, совмещая несколько кадров, алгоритмы достаточно эффективно убирают с них шум, неизбежно возникающий при съемке темных сцен. Во-вторых, чтобы снять множество кадров с небольшими выдержками, не обязательно ставить смартфон на штатив. Можно держать его в руках, пусть даже на создание снимка требуется пара секунд, за которые раньше снимок обязательно смазался бы.

Забавно, но оказалось, что небольшое дрожание рук во время съемки может быть даже полезно. Разработчики Google научились использовать этот эффект во благо для повышения точности передачи цветов и детализации.

Работу этого алгоритма можно описать довольно коротко, но для начала необходимо вспомнить устройство большинства фотоматриц. Они представляют собой огромную сетку из фотодиодов, каждый из которых выполняет простую работу — регистрирует падающий на него свет. За цвет в матрицах отвечают накрывающие фотодиоды фильтры определенных цветов — красного, зеленого и синего.

Обычно в матрицах цветофильтры чередуются подобно клеткам шахматной доски. Цвет каждого пикселя рассчитывается, исходя из значений нескольких соседних фотодиодов. Это неизбежно приводит к потере точности цветопередачи.

В некоторых режимах камера Google Pixel не «прикидывает» значения цветов по показаниям соседних пикселей, а просто совмещает несколько снимков, заполняя пустые значения цветов на фотодиодах. Это работает именно потому, что при съемке с рук фотоматрица все время немного «гуляет» в разные стороны.

В 2018 году Google добавила во все свои смартфоны функцию Night Sight. По сути, это тот же HDR+, но использующий еще несколько программных ухищрений для улучшения снимков. Например, в ночном режиме смартфон запускает нейросетевые алгоритмы, чтобы определить, что находится перед камерой, и подстроить баланс белого. Кроме того, смартфон сам выбирает нужную выдержку в зависимости от сцены, интенсивности движений рук и других параметров.

Звезды на смартфоне

Вслед за Google похожие режимы стали внедрять и другие производители смартфонов, например Huawei и Apple. Поскольку в нашей редакции недавно появился iPhone 11 Pro с новыми алгоритмами камеры, мы решили продемонстрировать его работу наглядно, захватив в поездку под Переславль-Залесский не большую камеру со съемными объективами, а смартфон.

Место, в котором мы делали эти снимки, находится далеко от крупных городов, поэтому нам не мешала засветка. А еще на нашей стороне был сухой морозный воздух.

Кстати, снимали мы не с рук, а со штатива. Делов в том, что последний iPhone, ориентируясь на показания акселерометра и гироскопа, умеет определять, что его положение неподвижно, и увеличивать максимальную длительность выдержки. В нашем случае она постоянно «скакала» между 10 и 28 секундами. Мы несколько раз успели «поймать» снимок с 28-секундной выдержкой и получили вот такие кадры ночного неба:

Снимок ночного неба, сделанный на iPhone 11 Pro. Выдержка 28 секунд

NVIDIA Chimera — первая в мире архитектура вычислительной фотографии для мобильных устройств

Прокладывая дорогу в мир новых, ориентированных на потребителей мобильных возможностей и приложений, NVIDIA сегодня представляет архитектуру вычислительной фотографии NVIDIA Chimera.

Архитектура Chimera, доступная в семействе мобильных процессоров NVIDIA Tegra 4, предлагает возможности, ранее недоступные в мобильных устройствах, включая съемку фотографий и видео в режиме HDR, создание HDR панорам и быстрое задание фокуса.

“Мы разработали архитектуру вычислительной фотографии Chimera, чтобы поднять фотографии, сделанные мобильными устройствами, на новый уровень, — отмечает Брайан Кэбрал (Brian Cabral), вице-президент по вычислительной визуализации в NVIDIA. — Мы предоставляем разработчикам и пользователям возможность не только улучшить изображения с помощью обработки, но и применить компьютерные алгоритмы для создания таких изображений, на которые раньше объектив был просто не способен”.

Предыдущие мобильные архитектуры не позволяли применять лучшие инструменты для разных этапов сложной обработки фотографии. Архитектура Chimera снимает эти ограничения, позволяя выполнять почти 100 миллиардов математических операций в секунду для обработки изображения с помощью вычислительных методов, используемых в рентгеновских компьютерных томографах, телескопах и спутниках-шпионах.

Впервые представленная на выставке CES 2013, архитектура Chimera изменяет представление о визуализации на мобильных устройствах благодаря съемке фото и видео в широком динамическом диапазоне (HDR). Пользователи могут мгновенно получать качественные фотографии, практически такие же, каким видит мир человеческий глаз, в самых разнообразных окружениях и условиях освещения.

Среди новых возможностей архитектуры – съемка в режиме HDR Panoramic, т.е. широкоугольным объективом или объективом “рыбий глаз”. Обычно для создания таких фотографий требуется дорогая цифровая зеркальная камера. Архитектура Chimera захватывает сцену при движении камеры – из стороны в сторону, вверх и вниз или по диагонали, эффективно рисуя панораму в реальном времени с разных углов и в любом порядке. В конкурентных решениях камера должна двигаться строго в одном направлении по горизонтали, а обработка кадров панорамы может занимать до 35 секунд.

Еще одним инновационным решением в архитектуре Chimera стала технология Tap-to-Track, которая позволяет пользователям задать фокус в сцене путем нажатия на данный объект на экране. Камера привязывается к этому объекту, даже если он двигается или перемещается сама камера. Функция Tap-to-Track также подстраивает экспозицию камеры при изменении условий, предотвращая появление недо- или пересвеченных областей на снимке.

Технология NVIDIA Chimera интегрирована в мобильные процессоры семейства Tegra 4, которое включает Tegra 4 – самый мощный в мире мобильный процессор – и новый Tegra 4i – первый процессор Tegra с интегрированным LTE-модемом.

Поддержка ведущих игроков рынка

Производители оборудования могут использовать эту архитектуру в различных решениях визуализации в смартфонах и планшетах. Архитектура также имеет программный интерфейс приложения (API), который поможет разработчикам в создании приложений визуализации для растущего рынка устройств на базе Android.

Sony и Aptina уже заявили о поддержке архитектуры вычислительной фотографии Chimera. Скоро ожидаются анонсы и от других производителей оборудования. Сенсоры Exmor RS IMX135 13 MP от Sony и AR0833 1/3” 8MP от Aptina поддерживают архитектуру Chimera, обеспечивая пользователям поддержку HDR-фотографий. Производители оборудования теперь могут включить эту технологию в устройства на базе Tegra 4, чтобы улучшить фото и видео возможности своих продуктов.

“Архитектура NVIDIA Chimera вместе с сенсором AR0833 предоставляет пользователям потрясающие возможности фото- и видеосъемки”, — комментирует Джон Джерад (John Gerard), директор по мобильным продуктам в Aptina.

Ключевые особенности архитектуры вычислительной фотографии Chimera:

  • Постоянная готовность к съемке фото и видео в режиме HDR
  • Создание HDR-панорам
  • Технология быстрого задания фокуса
  • Мгновенное создание HDR-снимков

Ссылка на основную публикацию
Статьи c упоминанием слов:
Adblock
detector