0 просмотров
Рейтинг статьи
1 звезда2 звезды3 звезды4 звезды5 звезд
Загрузка...

Датчики Sony позволят смартфонам снимать видео со скоростью 1000 к

Новый сенсор Sony снимает видео со скоростью до 1000 кадров в секунду

За свою историю компания Sony не раз меняла представление пользователей о том, какими нужно быть современным камерам. И на сей раз ей удалось приятно удивить всех, кто рассматривает свой смартфон в качестве инструмента для фото- и видеосъемки. Компанией представлен первый в индустрии трехслойный сенсор изображений CMOS. Поскольку в нем присутствует собственная оперативная память, данный сенсор позволит снимать видео с невероятно высокой скоростью, обеспечивая новое качество замедленной съемки.

К примеру, ему будет доступна скорость видеосъемки с разрешением 1080p при невероятно высокой скорости

1000 кадров в секунду. Это позволит обеспечить невиданные до сих пор на мобильных девайсах возможности просмотра замедленного видео. Речь, разумеется, идет о разработке, а не о готовом девайсе с камерой на основе нового сенсора.

Камера на основе рассматриваемого сенсора сможет снимать два видеопотока: со скоростью

1000 кадров в секунду и второй — на обычной скорости. Оба потока для последующей обработки сохраняются в оперативной памяти сенсора. Это позволит камере вставлять сегменты замедленной съемки в видео, просматриваемое с обычной скоростью.

У пользователя могут возникнуть сомнения в том, достаточна ли скорость реакции обычного человека для того, чтобы столь быстро определять те фрагменты сюжета, которые хотелось бы потом просматривать замедленно. Но сенсор Sony достаточно умен для того, чтобы самому определять резкие движения в кадре и автоматически включать съемку с высокой скоростью.

На размещенном в YouTube видео показан ролик, в котором присутствуют фрагменты, воспроизводимые в 64 раза медленнее, чем та скорость, с которой они были сняты. Если съемка производилась при скорости 960 кадров в секунду, то воспроизведение данных фрагментов, которые пользователи хотели бы рассмотреть в деталях, происходит со скоростью 15 кадров в секунду. Этот ролик снят при помощи нового трехслойного сенсора изображений.

Возможность снимать видео с разрешением 1080p при скорости 1000 кадров в секунду, разумеется, впечатляющая. Но на этом возможности нового сенсора не исчерпываются. Расположенная в самом чипе оперативная память позволяет также повысить качество снимаемых фотографий. Дело в том, что фотография в полном 19,3-мегапиксельном разрешении в таком случае сохраняется в оперативной памяти всего за одну сто двадцатую долю секунды.

Слева — снято со скоростью считывания 1/30 секунды. Справа — снято со скоростью считывания 1/120 секунды

При этом скорость соединения между чипсетом и камерой телефона намного ниже, обычно, при рассматриваемом разрешении, она составляет примерно 1/30 секунды. Это соединение невозможно сделать быстрее, но после сохранения данных в оперативной памяти, чипсету дается дополнительное время на то, чтобы считать их оттуда. Это означает также, что для рассматриваемого технологического решения не требуется более быстрое и более дорогое аппаратное обеспечение, осуществляющее обработку изображений.

Разрешение нового сенсора составляет 5520 x 3840 пикселей (21,2 мегапикселя). Размер сенсора — 1/2.3″ — предполагает размер пикселя 1.22 µm. Объем встроенной оперативной памяти данного сенсора составляет один гигабит. Сенсором также поддерживается съемка 4K-видео со скоростью 60 кадров в секунду, а также с разрешением 1080p при скорости 240 кадров в секунду, не считая рассмотренной выше возможности замедленной съемки со скоростью

1000 кадров в секунду, которая и является основной инновацией данного сенсора.

Почему, создавая столь удивительные сенсоры для камер, Sony так и не сумела сделать достаточно популярными свои смартфоны?

По материалам sony.net и gsmarena.com

Складные смартфоны ворвались в нашу жизнь чуть больше года назад, когда с минимальной разницей во времени в рамках одного мероприятия нам показали Samsung Galaxy Fold и Huawei Mate X. Не так давно у меня появился Huawei Mate X и не могу сказать, что мне было удобно им пользоваться. В целом я изменил свое мнение относительно подобного типа устройств, но есть некоторые моменты, которые не дают мне покоя и мешают принять окончательное решение о том, стоит ли пользоваться такими устройствами. В любом случае, я хочу поделиться своими наблюдениями и услышать ваше мнение относительно складного смартфона в целом и Huawei за 200 000 рублей в частности. Хотя, по второму вопросу двух мнений быть не может.

Читать еще:  2001-2011: 10 лет под знаком iPod

Сейчас у меня на тестировании находится складной смартфон, о котором я обязательно расскажу чуть позже, а пока просто хочется поговорить о том, как производители стараются продвигать эти устройства. Вот мы думаем, что это какая-то непонятная штука, которая раскрадывается, стоит дорого, но при этом не дает никакого результата с точки зрения практического использования. Я, признаться честно, сам пока не определился с юзеркейсами, но понимаю, что в этом что-то есть и надо как-то развивать это направление технологий. Не исключено, что совсем скоро мы сможем стоять перед витриной магазина и всерьез выбирать между классическим моноблоком и складным смартфоном. Впрочем, для этого еще должна сравняться их цена.

Если вы думали, что теперь выставок больше не будет и коронавирус стал только поводом для их отмены в будущем, вы ошибались. Признаю, что я тоже допускал такой вариант, так как онлайн формат позволяет экономить деньги, а важных гостей можно пригласить и к себе в офис для обсуждения сотрудничества. Так-то оно так, вот только то, с каким рвением организаторы IFA стремятся провести свою выставку бытовой техники и потребительской электроники в этом году, заставляет задуматься об обратном. Если в двух словах, то суть новости, которой я хочу поделиться, в том, что IFA в этом году почти наверняка будет. Более развернуто о причинах такого поведения и тонкостях проведения мероприятия в условиях пандемии читайте в этой статье.

Датчики Sony позволят смартфонам снимать видео со скоростью 1000 к

В субботу в Сан-Франциско стартовала ежегодная конференция Solid-State Circuits Conference (ISSCC 2017). Компания Sony к этому мероприятию подготовила анонс интересного решения — первого в индустрии трёхуровневого КМОП-датчика изображения для смартфонов, который обеспечивает суперзамедленную видеосъёмку.

Последние поколения датчиков изображения КМОП (по-англ. CMOS) компания выпускает в виде двухслойных структур, что позволяет делать датчики очень компактными. В верхнем слое датчиков с фильтрами и микролинзами располагается массив фотодиодов с задней засветкой (back-illuminated stacked CMOS image sensors). В нижнем слое расположена логика, обрабатывающая «сырые» данные с датчиков и управляющая датчиками. Новый датчик компании создан трёхъярусным, где средний «промежуточный» слой — это массив памяти DRAM ёмкостью 1 Гбит.

Использование ёмкого DRAM-буфера в датчике изображения позволяет обойти ограничение интерфейса для передачи «сырых» данных в процессор по обработке изображения. Иными словами, во время скоростной съёмки данные спокойно записываются в буфер и по мере обработки передаются в процессор без какой-либо потери в виде пропущенных кадров. Этот подход позволяет, во-первых, избежать искажения в фокальной плоскости и, во-вторых, обеспечивает суперзамедленную съёмку видео, ранее невозможную на смартфонах. Во всяком случае, с качеством Full HD.

Светочувствительный слой трёхслойной матрицы Sony состоит из 21,2 эффективных мегапикселей с разрешением 5520 × 3840. Размер диагонали матрицы — 7,73 мм (соотношение 1/2,3). Размер светочувствительной ячейки равен 1,22 × 1,22 мкм. Статические изображения можно снимать со скоростью 30 кадров в секунду с соотношением сторон 4:3 (19,3 Мп) и 16:9 (17,1 Мп). Видео допускает съёмку со скоростью 60 кадров в секунду с разрешением 4K (3840 × 2160) и 240 кадров в секунду с разрешением 1080p и 720p (кратковременная съёмка возможна со скоростью до 1000 кадров в секунду).

Данные с датчиков передаются в процессор по обработке изображения в формате Bayer RAW. Интерфейс стандартный, что позволит использовать для работы с новыми датчиками современные процессоры многих производителей. Добавим, логика датчиков сама распознаёт момент ускорения движения и может автоматически переходить в режим замедленной съёмки не надеясь на реакцию оператора.

Метки записи: Sony

Витают в облаках: как организовать «воздушную» свадьбу

Датчики Sony позволят смартфонам снимать видео со скоростью 1000 к/с

В субботу в Сан-Франциско стартовала ежегодная конференция Solid-State Circuits Conference (ISSCC 2017). Компания Sony к этому мероприятию подготовила анонс интересного решения — первого в индустрии трёхуровневого КМОП-датчика изображения для смартфонов, который обеспечивает суперзамедленную видеосъёмку.

Строение современных двухслойных датчиков КМОП и «скоростных» трёхслойных датчиков (Sony)

Читать еще:  James Cameron’s Avatar: The Game – диаметральные взгляды

Последние поколения датчиков изображения КМОП (по-англ. CMOS) компания выпускает в виде двухслойных структур, что позволяет делать датчики очень компактными. В верхнем слое датчиков с фильтрами и микролинзами располагается массив фотодиодов с задней засветкой (back-illuminated stacked CMOS image sensors). В нижнем слое расположена логика, обрабатывающая «сырые» данные с датчиков и управляющая датчиками. Новый датчик компании создан трёхъярусным, где средний «промежуточный» слой — это массив памяти DRAM ёмкостью 1 Гбит.

Срез трёхслойного КМОП-датчика (Sony)

Использование ёмкого DRAM-буфера в датчике изображения позволяет обойти ограничение интерфейса для передачи «сырых» данных в процессор по обработке изображения. Иными словами, во время скоростной съёмки данные спокойно записываются в буфер и по мере обработки передаются в процессор без какой-либо потери в виде пропущенных кадров. Этот подход позволяет, во-первых, избежать искажения в фокальной плоскости и, во-вторых, обеспечивает суперзамедленную съёмку видео, ранее невозможную на смартфонах. Во всяком случае, с качеством Full HD.

Использование «скоростных» КМОП позволит избежать искажений при съёмке быстро движущихся объектов (Sony)

Светочувствительный слой трёхслойной матрицы Sony состоит из 21,2 эффективных мегапикселей с разрешением 5520 × 3840. Размер диагонали матрицы — 7,73 мм (соотношение 1/2,3). Размер светочувствительной ячейки равен 1,22 × 1,22 мкм. Статические изображения можно снимать со скоростью 30 кадров в секунду с соотношением сторон 4:3 (19,3 Мп) и 16:9 (17,1 Мп). Видео допускает съёмку со скоростью 60 кадров в секунду с разрешением 4K (3840 × 2160) и 240 кадров в секунду с разрешением 1080p и 720p (кратковременная съёмка возможна со скоростью до 1000 кадров в секунду).

Данные с датчиков передаются в процессор по обработке изображения в формате Bayer RAW. Интерфейс стандартный, что позволит использовать для работы с новыми датчиками современные процессоры многих производителей. Добавим, логика датчиков сама распознаёт момент ускорения движения и может автоматически переходить в режим замедленной съёмки не надеясь на реакцию оператора.

Sony представила первый в мире датчик изображения с собственным процессором искусственного интеллекта

Но не для смартфонов

Компания Sony представила два новых датчика изображения: IMX500 и IMX501. Они интересны тем, что это первые датчики, которые способны обрабатывать задачи искусственного интеллекта собственными силами. То есть все необходимые вычисления производятся в самих датчиках.

Для начала отметим, что IMX500 и IMX501 — это один и тот же датчик, просто в первом случае он поставляется без подложки, так что далее мы будем говорить о новом решении, как об одном продукте.

Итак, Sony IMX500/IMX501 — это датчик оптического формата 1/2,3 дюйма с разрешением 12,3 Мп. То есть на сегодняшний день он совершенно не поражает воображение ни размерами, ни разрешением. Датчик позволяет снимать видео в разрешении 4K при 60 к/с и Full HD при 240 к/с.

Что касается уникальных особенностей, датчик располагает специальным процессором обработки изображений с собственной памятью, который полностью берёт на себя обработку задач ИИ, разгружая таким образом основной процессор устройства и ускоряя обработку. Стоит уточнить, что это работает как с фотографиями, так и с видео.

Такие датчики могут использоваться в устройствах со слабым процессором либо же без такового вообще. Да, первоначально это датчики не для смартфонов и вообще не для потребительских устройств. К примеру, такими датчиками могут быть оснащены камеры наблюдения, камеры машинного зрения и так далее. В некоторых случаях вся обработка данных с таких устройств и вовсе производится в облаке, так что новые датчики Sony позволят значительно сэкономить время и сделать данные более защищёнными. Один из примеров — бескассовые магазины Amazon Go, оснащённые сотнями камер.

Также Sony сравнивает свой новый датчик с некоторыми потребительскими устройствами. К примеру, в камере Google Clip или дроне DJI Phantom 4 алгоритм распознавания изображений работает с одним видеокадром сотни миллисекунд и даже более, а IMX500/IMX501 делает это за 3,1 мс. Впрочем, Sony оговаривает, что её датчики ориентированы на работу с базовыми алгоритмами, так что при более сложных задачах всё же потребуются иные вычислительные мощности, но это вполне логично.

Компания уже начала поставку тестовых образцов IMX500, а IMX501 начнут поставлять в июне. Стоимость первого датчика — 93 доллара, второго — 186 долларов.

Датчики Sony позволят смартфонам видео со скоростью 1000 к/с

В субботу в Сан-Франциско стартовала ежегодная конференция Solid-State Circuits Conference (ISSCC 2017). Компания Sony к этому мероприятию подготовила анонс интересного решения — первого в индустрии трёхуровневого КМОП-датчика изображения для смартфонов, который обеспечивает суперзамедленную видеосъёмку.

Читать еще:  Foxconn на пороге нового сезона: о новых горизонтах, конкуренции и традициях

Строение современных двухслойных датчиков КМОП и «скоростных» трёхслойных датчиков (Sony)

Строение современных двухслойных датчиков КМОП и «скоростных» трёхслойных датчиков (Sony)

Последние поколения датчиков изображения КМОП (по-англ. CMOS) компания выпускает в виде двухслойных структур, что позволяет делать датчики очень компактными. В верхнем слое датчиков с фильтрами и микролинзами располагается массив светодиодов с задней засветкой (back-illuminated stacked CMOS image sensors). В нижнем слое расположена логика, обрабатывающая «сырые» данные с датчиков и управляющая датчиками. Новый датчик компании создан трёхъярусным, где средний «промежуточный» слой — это массив памяти DRAM ёмкостью 1 Гбит.

Срез трёхслойного КМОП-датчика (Sony)

Срез трёхслойного КМОП-датчика (Sony)

Использование ёмкого DRAM-буфера в датчике изображения позволяет обойти ограничение интерфейса для передачи «сырых» данных в процессор по обработке изображения. Иными словами, во время скоростной съёмки данные спокойно записываются в буфер и по мере обработки передаются в процессор без какой-либо потери в виде пропущенных кадров. Этот подход позволяет, во-первых, избежать искажения в фокальной плоскости и, во-вторых, обеспечивает суперзамедленную съёмку видео, ранее невозможную на смартфонах. Во всяком случае, с качеством Full HD.

Использование «скоростных» КМОП позволит избежать искажений при съёмке быстро движущихся объектов (Sony)

Использование «скоростных» КМОП позволит избежать искажений при съёмке быстро движущихся объектов (Sony)

Светочувствительный слой трёхслойной матрицы Sony состоит из 21,2 эффективных мегапикселей с разрешением 5520 × 3840. Размер диагонали матрицы — 7,73 мм (соотношение 1/2,3). Размер светочувствительной ячейки равен 1,22 × 1,22 мкм. Статические изображения можно снимать со скоростью 30 кадров в секунду с соотношением сторон 4:3 (19,3 Мп) и 16:9 (17,1 Мп). Видео допускает съёмку со скоростью 60 кадров в секунду с разрешением 4K (3840 × 2160) и 240 кадров в секунду с разрешением 1080p и 720p (кратковременная съёмка возможна со скоростью до 1000 кадров в секунду).

Данные с датчиков передаются в процессор по обработке изображения в формате Bayer RAW. Интерфейс стандартный, что позволит использовать для работы с новыми датчиками современные процессоры многих производителей. Добавим, логика датчиков сама распознаёт момент ускорения движения и может автоматически переходить в режим замедленной съёмки не надеясь на реакцию оператора.

У Sony готов первый в отрасли трехслойный датчик изображения со встроенной памятью DRAM для камер смартфонов, поддерживающий съемку видео 1080p при 1000 FPS

Поделитесь в соцсетях:

Компания Sony анонсировала первый в отрасли трехслойный сенсор типа CMOS со встроенной памятью DRAM для смартфонов.

Как явствует из предыдущего предложения, новинка характеризуется многослойной компоновкой – вдобавок к двум стандартным слоям (кристалл датчика со светочувствительными ячейками и технологией обратной засветки и кристалл с цепями обработки сигнала) был добавлен третий слой – микросхема DRAM. В общем, рассмотреть конструкцию сенсора в деталях позволяют изображения ниже.

Благодаря этому новый сенсор позволяет снимать замедленное видео slow-motion в формате Full HD (1920×1080 пикселей) со впечатляющей скоростью 1000 к/с, а это, на минуточку, примерно восемь раз быстрее по сравнению с присутствующими сейчас на рынке моделями. Также говорится, что съемка осуществляется с минимальными искажениями в фокальной плоскости. И все это благодаря встроенной DRAM.

Смартфоны iPhone 7 и Google Pixel, обладающие лучшими мобильными камерами на рынке, к примеру, позволяют вести замедленную видеосъемку в формате Full HD с максимальной скоростью 120 к/с. К слову, 1000 fps это даже больше, чем у камеры Sony RX 100 V, которая снимает максимум со скоростью 960 fps.

Sony предоставила специальное видео, которое позволяет визуально оценить преимущества от съемки при столь высокой кадровой частоте.

Возможности по части съемки фото впечатляют не меньше. Благодаря применению памяти DRAM с высокой пропускной способностью и конвертера аналогового видео в цифровое новой конструкции (четырехслойная микросхема вместо двухслойной) сенсор способен делать снимки разрешением 19,3 Мп за 1/120 секунды. По словам Sony, это в четыре раза быстрее максимальных возможностей современных сенсоров, которые есть сейчас на рынке. Разницу между фотографиями, снятыми за 1/30 с и 1/120 с можно увидеть ниже.

Из остальных ключевых спецификаций можно отметить оптический формат датчика — 1/2,3 дюйма, эффективное разрешение — 21,2 Мп и размер светочувствительной ячейки – 1,22 мкм.

Увы, когда ждать первых смартфонов с камерами на этом сенсоре, пока неизвестно.

Ссылка на основную публикацию
Статьи c упоминанием слов:
Adblock
detector