Эволюция фотоматриц и сенсоров. Разбор

Еще совсем недавно лет 10-15 назад, любительские камеры снимали довольно посредственно. Теперь же каждый Ютубер может выдать кинокартинку на свой фотоаппарат, а на смартфон можно легко снять качественный клип. Всё это стало возможно благодаря революционным технологиям в производстве матриц для наших фотоаппаратов, смартфонов и профессиональных камер. Поэтому сегодня мы поговорим про эволюцию современных цифровых фотоматриц.

Мы узнаем какая технология убила мыльницы и превратила YouTube в телевизор? Выясним куда делся Rolling Shatter? Раскроем секрет кинокамер и разберёмся почему современные матрицы немного ку-ку?

CCD vs CMOS

Итак, в истории современных светочувствительных матриц было несколько ключевых событий и первый из них — это переход от CCD-матриц к CMOS.

На дворе начало нулевых. По телевизору всё еще идет «Сам себе режиссёр», а Slava Marlow выступает под псевдонимом Андрей Губин.

В те времена на рынке цифровой фото- и видеосъемки доминировала технология CCD или ПЗС-матриц, если по-русски. Ваш батя наверняка тогда гонял с CCD-камерой.

ПЗС — прибор с зарядовой связью, по англ. CCD — charge-coupled device.

CCD-матрицы тогда были вне конкуренции по качеству, но и стоили они дорого. Поэтому в противовес CCD была другая, куда более дешевая, технология — CMOS или КМОП.

КМОП — Комплементарная Структура Металл-Оксид-Полупроводник или по англ. CMOS — Complementary Metal Oxide Semiconductor

Эти две технологии имеют принципиальные отличия в своей основе, со всеми вытекающими плюсами и минусами.

Так как же они работают?

В CCD-матрицах заряд считывается последовательно очень необычным способом: каждая строка пикселей на матрице связана друг с другом. И заряд может передвигаться построчно сверху вниз. Отсюда и название ПЗС — прибор с зарядной связью.

Итак, сдвигаясь вниз, заряд на выходе усиливается и мы получаем хороший аналоговый сигнал. Который уже ВНЕ ЧИПА проходит через аналого-цифровой преобразователь (АЦП) и мы получаем цифровые данные.

Важная ремарка, несмотря на такое устройство, в CCD-матрицах используется глобальный затвор, то есть global shutter. А все потому, что матрица не может экспонировать следующий кадр пока полностью не считает данные с предыдущего.

Итак, такой подход позволяет CCD-матрицам передавать электрический заряд с низким сопротивлением, он меньше подвержен помехам, и отсюда главное преимущество CCD — малое количество шумов.

Также, так как все схемы аналого-цифрового преобразования вынесены за пределы матрицы, пиксели стоят максимально плотно друг к другу и мы получаем практически 100% заполняемость пикселями, что дает высокую светочувствительность. И высокий динамический диапазон в придачу. Звучит как идеальная технология, но на самом деле нет.

Во-первых, весь этот процесс построчного очищения матрицы от заряда занимает много времени. Поэтому про серийную фотографию или замедленную видеосъёмку 120 или 240 кадров в секунду можно забыть. Во-вторых, вынос АЦП в отдельный блок делает всю конструкцию громоздкой. Но главное, CCD-матрицы невероятно энергопрожорливые и очень дорогие в производстве.

А вот в CMOS-матрицах используется принципиально иной подход. В CMOS все необходимые компоненты интегрированы прямо в матрицу. Там рядом с каждым пикселем стоит свой маленький усилитель и блок АЦП. То есть CMOS — это как жвачка 3 в 1. Отсюда и название КМОП — Комплементарная Структура Металл-Оксид-Полупроводник. Звучит сложно, но теперь стало понятней, да?

Так вот, такая структура позволяет нам независимо считывать данные с каждого пикселя. И да, в теории на CMOS-матрицах мы можем считывать данные со всех пикселей одновременно и тем самым также реализовать глобальный затвор. И у Sony даже есть такая CMOS-матрица, но пока только разрешением 1,46 Мп.

Поэтому на практике большинство CMOS-матриц используют плавающий затвор (Rolling Shutter), то есть данные считывается построчно сверху вниз.

И всё это делает CMOS-матрицы:

• невероятно быстрыми;
• энергоэффективными (они потрябляют в 100 раз меньше энергии чем CCD);
• компактными;
• ну и, самое любимое, дешевыми в производстве.

Так почему ж тогда CMOS-матрицы никто не использовал раньше? А потому, что мы еще не говорили про недостатки…

Дело в том, что вся эта интегрированная проводка занимает примерно 25% полезной площади фотодиода. Иными словами пиксели в CMOS-матрице будут на 25% меньше. А значит будет меньше светочувствительность и хуже динамический диапазон.

Но это полбеды, в такой схеме, даже когда на матрицу не попадает свет через фотодиод, всё равно течет какой-то ток. Что приводит к возникновению фонового шума, который сложно отделить от изображения. То есть соотношение сигнал/шум в CMOS-матрицах значительно выше чем в CCD.

Все эти недостатки долгое время не позволяли использовать CMOS-сенсоры для более или менее серьезных задач. Но благодаря нескольким гениальным инженерным решениям технология CMOS совершила революцию в сфере цифровой видеосъемки. И всё началось в 2008 году.

BSI

11 июня 2008 года компания Sony представляет CMOS-датчик Exmor R. Это был первый в мире серийный сенсор с технологией обратной засветки, известной вам как BSI (Backside Illumination)

В чём тут инновация?

Ребята из Sony умудрились перенести всю эту металлическую проводку, занимавшую 25% жилплощади фотодиода, на этаж ниже, прямо под фотодиод, тем самым позволив фотодиодом занимать свои 100% площади матрицы.

 

И казалось бы, в теории всего-то на 25% разницы размере фотодиодов, что в этом революционного? Но на практике последствия у этого нововведения были грандиозными.

Благодаря технологии BSI, CMOS-матрицы — забили последний гвоздь в крышку CCD-матриц, уничтожили фотомыльницы как класс и сделали тем, чем он является сейчас — новым телевизором. А всё потому, что качество любительской видеосъёмки в одночасье взлетело до небес: фотоаппараты стали снимать как кинокамеры. А маленькие сенсоры в мобильных телефонах стали выдавать очень приличные снимки не только днем, но и ночью.

Первые сенсоры Exmor R появились в смартфонах. Например, сенсор первого поколения стоял в iPhone 4s, iPhone 5, Xiaomi Mi 2, и всё эти смартфоны снимали очень круто для своего времени. Позже технологию адаптировали и для больших камер. Первый full frame сенсор с обратной засветкой достался камере Sony A7R II в 2015, после чего беззеркальные камеры Sony прославились тем , что буквально видят в темноте. К примеру, я снимаю на Sony A7S III. И она очень хорошо «видит в темноте».

В Sony A7S III установлен сенсор серии Exmor R. Это матрица на 12 Мп — её динамический диапазон до 15 ступеней и ISO до 409 600 единиц. Да, для Full Frame камеры 12 МП совсем не много. Но серия A7S специально создавалась для видеографов. А для видео 12 МП — за глаза. И главное не сколько пикселей а, какой у них размер. А именно 8,4 мкм.

Для сравнения в Samsung Galaxy S21 Ultra пиксель размером всего 0,8 мкм. Но с помощью технологии Nona Binning можно объединить 9 пикселей в 1 и мы получим 2,4 мкм. Для телефона это очень много, но это всё равно в 3,5 раза меньше, чем в этой камере Sony.

В общем, если интересно узнать поподробнее про камеру на сайте у нас вышел текстовый обзор, который написал Митя Иванов.

В A7S III, наконец, появился поворотный экран, который я так ждал. В том числе зхавезли съемку с высоким битрейтом, что для YouTube не так важно. Ну и 4K 120 FPS 4:2:2 10 бит — это многого стоит! В общем, если перейдете по ссылке, узнаете еще больше и вам тоже за это большой респекто!

Естественно, не только благодаря BSI и большим пикселям произошел такой скачок в качестве изображения, поэтому перейдем к куда менее известным и куда более гиковым инновацием.

Параллельные АЦП

Как мы выяснили ранее, CMOS-матрицы по своей природе очень «шумные». Чтобы решить эту проблему, стали использовать технологию мульти-параллельных АЦП. Суть технологии простая: к каждому пикселю стали подключать две линии АЦП, то есть сигнал стали считывать тупо два раза, но с небольшим трюком — на разные АЦП сигнал стали подавать с небольшой задержкой. Это позволило путем сопоставления обоих сигналов, точнее отделять полезный сигнал от фонового шума матрицы. Вот такая инженерия!

Либо другой вариант: два АЦП позволили одновременно считывать сразу по две строки, тем самым ускоряя съёмку до 120 к/с и уменьшая роллинг шаттер. Кстати, не только два АЦП помогли уменьшить роллинг шаттер. Поэтому переходим к следующей технологии.

Многослойные матрицы

Итак мы помним, что на первых CMOS-матрицах был ярко-выраженный эффект желе. Это как раз связано с использованием плавающего затвора. Поэтому эффект чаще всего называют Rolling Shutter. А связано это было с одним ограничением: скорость построчного считывания была привязана к количеству кадров в секунду. То есть если мы снимаем в 30 FPS, то последняя строчка будет отставать от первой на 33,3 миллисекунды. А это довольно много!

Но соответственно, если мы снимали 60 к/с, то скорость считывания возрастала в 2 раза и эффект желешки пропорционально уменьшался.

Тогда, опять же, Sony придумали технологию многослойных матриц (stacked sensor). Аккурат между слоем с пикселями и слоем с металлической проводкой, добавили слой с быстрой памятью DRAM, которая стала выступать в качестве буфера обмена. Sony такие сенсоры называет Exmor RS.

Во-первых, такая схема позволяет сильно ускорить съемку. Помните смартфоны Sony со сверхзамедленной съёмкой в 960 кадров в секунду — вот это оно. Также полнокадровые матрицы с DRAM-памятью стоят в Sony Alpha 1 и Alpha 9 II — камерах, которые снимают 50- и 24 мегапиксельные фотографии со скоростью 30 и 20 кадров в секунду, соответственно. Просто круть!

Ну и конечно, DRAM-память развязала руки пикселя. Теперь, когда появилась возможность скачивать готовые кадры в DRAM, мы смогли отвязать скорость чтения интерфейса от скорости чтения пикселей, что позволило увеличить скорость чтения до 120 FPS. Но поверьте такие скорости не предел, о чем и поговорим дальше.

От TSV до CU-CU

Смотрите в чем проблема: если сенсор состоит из нескольких слоёв, эти слои надо как-то соединить, чтобы они общались друг с другом. И поначалу, разные слои буквально сшивались металлической проводкой насквозь. Технология называлась TSV, что по-английски значит Through Silicon Via, ну а по-русски на мой взгляд ближе всего это перевести “прям через кремний”, “в натуре” — еще хочется добавить.

Технология не идеальна. Во-первых, это всего один канал, а значит это ограничивает пропускную способность. Во-вторых, она просто отнимает много места, что особо критично для мобильных сенсоров. Поэтому пришли к новой сумасшедшей технологии под названием Cu-Cu. Нет, кукушка и психушка тут не причем. На самом деле, это просто Cuprum-Cuprum или соединение медь-медь.

Если раньше разные слои соединялись насквозь всего через один канал, то теперь соединение стали делать через тысячи медных контактов по всей площади матрицы с шагом соединения менее 3 мкм.

Мало того, что это позволило многократно увеличить пропускную способность. В частности именно эта технология позволяет делать CMOS-матрицы с глобальным затвором, но также сенсоры стали компактнее, что позволило устанавливать в смартфоны матрицы еще большего размера.

Плюс добавим технологию глубокой изоляции пикселей. Это когда фотодиоды стали отделять стенками, тем самым препятствуя паразитным засветкам соседних пикселей, и мы получаем еще большую светочувствительность и меньше шумов. Идеально!

HDR

Ну и под конец — моя самая любимая технология. Раскрою вам секрет, как современные камеры делают HDR видео. Итак, у любых, даже самых дорогих матриц, с самыми большими пикселями есть проблема с низким динамическим диапазоном. В чем тут проблема?

Задача каждого пикселя или точнее фотодиода, улавливать фотоны света и переводить их в электроны. Лучшая аналогия тут: каждый пиксель это как ведерко, которое улавливает фотоны света. Чем больше фотонов поймали, тем ярче пиксель.

И вот в чём загвоздка. Если мы используем очень короткую экспозицию, ведерко просто не успевает наполниться фотонами, и мы видим темную шумную картинку. Шумную, потому как в каждом ведерке и так есть какое-то количество фоновых электронов, мы говорили об этом выше. А если экспозиция слишком длинная, ведро просто переполняется и пиксель засвечивается.

Так вот, благодаря всем вышеперечисленным технологиям, мы научились считывать данные с фотодиода несколько раз за выдержку. Свет только начал поступать, но мы уже хорошо — считали информацию. Свет продолжает поступать, и теперь мы видим тени. но небо засвечено — считали информацию еще раз.

И в итоге за одну экспозицию мы получаем два подкадра: один светлый, другой темный. Их мы можем соединить и получить HDR картинку. И нет никаких артефактов, потому, что мы работаем с данными из одного кадра.

Именно такая технология двойной экспозиции, долгое время являлось секретным ингредиентом кинокамер ARRI, которые славятся широким динамическим диапазоном и очень плавными переходами в светлых участках. А теперь это доступно в любительских фотоаппаратах и смартфонах.

На самом деле всё немного сложнее: мы можем не только склеивать светлый и темный подкадры, мы можем еще считать фотоны и экстраполировать данные с темного кадра, превращая его в светлый. Но это уже слишком заморочено даже для этого ролика.

В подготовке этого материала мы активно использовали работы инженера Sony Yusuke OIKE. Ну а про другие методы качестве изображения, будь то вычислительная фотография или видео, интерполяция кадров и прочее. Про всё это мы также делали классные разборы.

На этом сегодня всё. Расказал вам всё Валерий Истишев, текст подготовил Антон Евстратенко, технологии замутили крутые инженеры. До встречи в будущем.

Post Views: 337