Мултикамера вместо мегапиксели

Фотографията в мобилните телефони вече беше преминала голямата мегапикселова война, която никой не можеше да спечели, тъй като имаше физически ограничения в сензорите и размера на смартфоните, които не позволяваха по-нататъшно миниатюризиране. Сега има процес, подобен на състезание, кой ще постави най-много на камерата (1). Във всеки случай, в крайна сметка, качеството на снимките винаги е важно.

През първата половина на 2018 г., заради два нови прототипа на камери, доста високо проговори неизвестна компания Light, която предлага многообективна технология – не за времето си, а за други модели смартфони. Въпреки че компанията, както МТ писа тогава, още през 2015г модел L16 с шестнадесет обектива (1) стана популярно едва през последните няколко месеца да се размножават камери в клетки.

Камера пълна с лещи

Този първи модел от Light беше компактен фотоапарат (не мобилен телефон) с размерите на телефон, проектиран да предоставя качеството на DSLR. Той снима с резолюция до 52 мегапиксела, предлага диапазон на фокусно разстояние от 35-150 мм, високо качество при слаба светлина и регулируема дълбочина на полето. Всичко става възможно чрез комбиниране на до шестнадесет камери за смартфони в едно тяло. Нито един от тези много обективи не се различаваше от оптиката на смартфоните. Разликата беше, че те бяха събрани в едно устройство.

2. Многообективни светлинни камери

По време на фотографията изображението се записва едновременно от десет камери, всяка със собствени настройки на експозицията. Всички снимки, направени по този начин, бяха комбинирани в една голяма снимка, която съдържаше всички данни от единични експонации. Системата позволява редактиране на дълбочината на полето и фокусните точки на готовата снимка. Снимките бяха запазени във формати JPG, TIFF или RAW DNG. Моделът L16, който се предлага на пазара, нямаше типичната светкавица, но снимките можеха да бъдат осветени с помощта на малък светодиод, разположен в тялото.

Тази премиера през 2015 г. имаше статут на любопитство. Това не привлече вниманието на много медии и масова публика. Въпреки това, като се има предвид, че Foxconn действаше като инвеститор на Light, по-нататъшното развитие не беше изненада. Накратко, това се основаваше на нарастващия интерес към решението от компании, които си сътрудничат с тайванския производител на оборудване. А клиенти на Foxconn са както Apple, така и по-специално Blackberry, Huawei, Microsoft, Motorola или Xiaomi.

И така, през 2018 г. се появи информация за работата на Light върху многокамерни системи в смартфоните. Тогава се оказа, че стартъпът си сътрудничи с Nokia, която представи първия в света телефон с пет камери на MWC в Барселона през 2019 г. Модел 9 PureView (3) оборудвани с две цветни камери и три монохромни камери.

Света обясни на сайта Quartz, че има две основни разлики между L16 и Nokia 9 PureView. Последният използва по-нова система за обработка за зашиване на снимки от отделни обективи. В допълнение, дизайнът на Nokia включва камери, различни от първоначално използвани от Light, с оптика ZEISS за улавяне на повече светлина. Три камери улавят само черно-бяла светлина.

Наборът от камери, всяка с резолюция от 12 мегапиксела, осигурява по-голям контрол върху дълбочината на полето на изображението и позволява на потребителите да заснемат детайли, които обикновено са невидими за конвенционалната клетъчна камера. Нещо повече, според публикуваните описания, PureView 9 е способен да улавя до десет пъти повече светлина от другите устройства и може да произвежда снимки с обща разделителна способност до 240 мегапиксела.

Внезапният старт на многокамерните телефони

Светлината не е единственият източник на иновации в тази област. Патент на LG на корейска компания от ноември 2018 г. описва комбинирането на различни ъгли на камерата за създаване на миниатюрен филм, напомнящ творения на Apple Live Photos или изображения от устройства Lytro, за които MT също писа преди няколко години, улавяйки светлинно поле с регулируемо зрително поле .

Според патента на LG, това решение може да комбинира различни набори от данни от различни обективи, за да изреже обекти от изображението (например в случай на портретен режим или дори пълна промяна на фона). Разбира се, засега това е само патент, без индикация, че LG планира да го внедри в телефон. Въпреки това, тъй като войната във фотографията на смартфони все повече ескалира, телефоните с тези функции могат да се появят на пазара по-бързо, отколкото си мислим.

Както ще видим при изучаването на историята на камерите с множество обективи, двукамерните системи изобщо не са нови. Поставянето на три или повече камери обаче е песента на последните десет месеца..

Сред големите производители на телефони китайският Huawei беше най-бързият, който представи на пазара модел с тройна камера. Още през март 2018 г. той направи оферта Huawei P20 Pro (4), който предлага три обектива - обикновен, монохромен и телезум, представен няколко месеца по-късно. Mate 20, също с три камери.

Но както вече се е случвало в историята на мобилните технологии, трябваше само смело да въвеждаме нови решения на Apple във всички медии, за да започнем да говорим за пробив и революция. Точно като първия модел iPhone'а през 2007 г., пазарът за известни досега смартфони беше "стартиран" и първият IPad (но изобщо не първия таблет) през 2010 г., ерата на таблетите започна, така че през септември 2019 г. многообективните iPhone „eleven“ (5) на компанията с ябълка на емблемата можеха да се считат за рязко начало на ерата на многокамерните смартфони.

11 Pro Сега 11 Pro Макс оборудвани с три камери. Първият има обектив с шест елемента с 26 мм фокусно разстояние на пълен кадър и бленда f/1.8. Производителят казва, че разполага с нов 12-мегапикселов сензор със 100% пикселен фокус, което може да означава решение, подобно на тези, използвани в камерите на Canon или смартфоните на Samsung, където всеки пиксел се състои от два фотодиода.

Втората камера има широкоъгълен обектив (с фокусно разстояние 13 мм и яркост f/2.4), оборудван с матрица с резолюция 12 мегапиксела. В допълнение към описаните модули има и телеобектив, който удвоява фокусното разстояние в сравнение със стандартен обектив. Това е дизайн с бленда f/2.0. Сензорът има същата резолюция като останалите. Както телеобективът, така и стандартният обектив са оборудвани с оптична стабилизация на изображението.

Във всички версии ще срещнем телефони Huawei, Google Pixel или Samsung. нощен режим. Това също е характерно решение за многоцелеви системи. Състои се във факта, че камерата прави няколко снимки с различна компенсация на експозицията и след това ги комбинира в една снимка с по-малко шум и по-добра тонална динамика.

Камерата в телефона - как се случи?

Първият телефон с камера беше Samsung SCH-V200. Устройството се появи на рафтовете на магазините в Южна Корея през 2000 г.

Можеше да си спомни двадесет снимки с резолюция 0,35 мегапиксела. Камерата обаче имаше сериозен недостатък – не се интегрира добре с телефона. Поради тази причина някои анализатори го смятат за отделно устройство, затворено в същия корпус, а не за неразделна част от телефона.

Съвсем различна беше ситуацията в случая с J-Phone'a, тоест телефон, който Sharp подготви за японския пазар в края на последното хилядолетие. Оборудването правеше снимки с много ниско качество от 0,11 мегапиксела, но за разлика от предложението на Samsung, снимките можеха да се прехвърлят безжично и удобно да се гледат на екрана на мобилен телефон. J-Phone е оборудван с цветен дисплей, който показва 256 цвята.

Мобилните телефони бързо се превърнаха в изключително модерна джаджа. Но не благодарение на устройствата Sanyo или J-Phone, а на предложенията на мобилните гиганти, основно по това време Nokia и Sony Ericsson.

Nokia 7650 оборудван с 0,3-мегапикселова камера. Това беше един от първите широко достъпни и популярни телефони за снимки. Той също се представи добре на пазара. Sony Ericsson T68i. Нито едно телефонно обаждане преди него не можеше да получава и изпраща MMS съобщения едновременно. Въпреки това, за разлика от предишните модели, разгледани в списъка, камерата за T68i трябваше да бъде закупена отделно и прикрепена към мобилния телефон.

След въвеждането на тези устройства популярността на камерите в мобилните телефони започна да расте с огромни темпове - още през 2003 г. те се продаваха в световен мащаб повече от стандартните цифрови фотоапарати.

През 2006 г. повече от половината от мобилните телефони в света имаха вградена камера. Година по-късно някой за първи път дойде с идеята да постави две лещи в клетка ...

От мобилна телевизия през 3D до по-добра и по-добра фотография

Противно на външния вид, историята на многокамерните решения не е толкова кратка. Samsung предлага в своя модел B710 (6) двоен обектив през 2007 г. Въпреки че по това време се обръщаше повече внимание на възможностите на тази камера в областта на мобилната телевизия, но системата с двойни обективи направи възможно заснемането на фотографски спомени в 3D ефект. Разгледахме готовата снимка на дисплея на този модел без да е необходимо да носим специални очила.

В онези години имаше голяма мода за 3D, камерните системи се разглеждаха като възможност за възпроизвеждане на този ефект.

LG Най-добър 3D, чиято премиера беше през февруари 2011 г., и HTC Evo 3D, пуснат през март 2011 г., използва двойни лещи за създаване на 3D снимки. Те използваха същата техника, използвана от дизайнерите на "обикновени" 3D камери, използвайки двойни лещи, за да създадат усещане за дълбочина в изображенията. Това е подобрено с 3D дисплей, предназначен да преглежда получените изображения без очила.

3D обаче се оказа само преминаваща мода. С нейния упадък хората спряха да мислят за многокамерни системи като инструмент за получаване на стереографски изображения.

Във всеки случай, не повече. Първата камера, която предлага два сензора за изображения за цели, подобни на днешните, беше HTC One M8 (7), пуснат през април 2014 г. Неговият 4MP основен UltraPixel сензор и 2MP вторичен сензор са проектирани да създават усещане за дълбочина в снимките.

Вторият обектив създаде картата на дълбочината и я включи в крайния резултат от изображението. Това означаваше способността за създаване на ефект размазване на фона , префокусиране на изображението с докосване на панела на дисплея и лесно управление на снимките, като същевременно запазвате остър обект и променяте фона дори след снимане.

По това време обаче не всеки разбира потенциала на тази техника. HTC One M8 може и да не е провал на пазара, но и не е особено популярен. Друга важна сграда в тази история, LG G5, беше пуснат през февруари 2016 г. Той включваше 16MP основен сензор и вторичен 8MP сензор, който е 135-градусов широкоъгълен обектив, към който устройството може да се превключи.

През април 2016 г. Huawei предложи модела в сътрудничество с Leica. P9, с две камери на гърба. Единият от тях беше използван за улавяне на RGB цветове (), другият беше използван за улавяне на монохромни детайли. Именно на базата на този модел по-късно Huawei създаде гореспоменатия модел P20.

През 2016 г. също беше представен на пазара iphone 7 плюс с две камери на гърба - и двете 12-мегапикселови, но с различни фокусни разстояния. Първата камера имаше 23-милиметрово увеличение, а втората - 56-милиметрово увеличение, което постави началото на ерата на смартфонната телефотография. Идеята беше да се позволи на потребителя да увеличава мащаба, без да губи качество - Apple искаше да разреши това, което смяташе за основен проблем със смартфон фотографията и разработи решение, което съответства на поведението на потребителите. Той също така отразява решението на HTC, като предлага боке ефекти, използвайки карти на дълбочината, получени от данни от двата обектива.

Пристигането на Huawei P20 Pro в началото на 2018 г. означава интегриране на всички тествани досега решения в едно устройство с тройна камера. Към RGB и монохромната сензорна система е добавен вариофокален обектив и използването на Изкуствен интелект тя даде много повече от простата сума от оптика и сензори. Освен това има впечатляващ нощен режим. Новият модел имаше голям успех и в пазарен смисъл се оказа пробив, а не камера на Nokia, заслепяваща от броя на обективите или познат продукт на Apple.

Предшественикът на тенденцията да има повече от една камера на телефон, Samsung (8) също представи камера с три обектива през 2018 г. Беше в модела Samsung Galaxy A7.

8. Модул за производство на двоен обектив на Samsung

Въпреки това, производителят реши да използва лещи: обикновени, широкоъгълни и трето око, за да предостави не много точна "информация за дълбочината". Но друг модел Galaxy A9, се предлагат общо четири обектива: ултраширок, телефото, стандартна камера и сензор за дълбочина.

Много е, защото Засега три обектива все още са стандартни. В допълнение към iPhone, водещите модели на техните марки като Huawei P30 Pro и Samsung Galaxy S10+ имат три камери на гърба. Разбира се, не броим по-малкия преден селфи обектив..

Google изглежда безразличен към всичко това. Неговите пиксел 3 той имаше една от най-добрите камери на пазара и можеше да направи "всичко" само с един обектив.

Устройствата Pixel използват специален софтуер, за да осигурят ефекти за стабилизиране, увеличение и дълбочина. Резултатите не бяха толкова добри, колкото биха могли да бъдат с множество лещи и сензори, но разликата беше малка и телефоните на Google компенсираха малките пропуски с отлична производителност при слаба светлина. Както изглежда обаче наскоро в модела пиксел 4, дори Google най-накрая се развали, въпреки че все още предлага само два обектива: обикновен и телесен.

Не отзад

Какво дава добавянето на допълнителни камери към един смартфон? Според експертите, ако записват на различни фокусни разстояния, задават различни стойности на блендата и заснемат цели партиди изображения за по-нататъшна алгоритмична обработка (композиране), това осигурява забележимо увеличение на качеството в сравнение с изображенията, получени с помощта на една камера на телефона.

Снимките са по-ясни, по-детайлни, с по-естествени цветове и по-голям динамичен диапазон. Изпълнението при ниска осветеност също е много по-добро.

Много хора, които четат за възможностите на системите с много лещи, ги свързват основно със замъгляване на фона на боке портрет, т.е. извеждане на обекти извън дълбочината на полето извън фокуса. Но това не е всичко.

Камерите от този тип изпълняват все по-широк набор от функции, включително по-точно XNUMXD картографиране, въвеждане на разширена реалност и по-добро разпознаване на лица и пейзажи.

Преди това, с помощта на приложения и изкуствен интелект, оптичните сензори на смартфоните се заемаха със задачи като термовизия, превод на чужди текстове въз основа на изображения, идентифициране на звездни съзвездия в нощното небе или анализиране на движенията на спортист. Използването на системи с няколко камери значително подобрява производителността на тези разширени функции. И преди всичко, това ни обединява в един пакет.

Старата история на многоцелевите решения показва различно търсене, но трудният проблем винаги са били високите изисквания към обработката на данни, качеството на алгоритъма и консумацията на енергия. В случая на съвременните смартфони, които използват както по-мощни процесори за визуален сигнал от преди, така и енергийно ефективни цифрови сигнални процесори и дори подобрени възможности на невронната мрежа, тези проблеми са значително намалени.

Високо ниво на детайлност, страхотни оптични възможности и адаптивни боке ефекти в момента са на първо място в списъка на съвременните изисквания за фотография със смартфон. Доскоро, за да ги изпълни, потребителят на смартфон трябваше да се извинява с помощта на традиционна камера. Не е задължително днес.

При големите камери естетическият ефект идва естествено, когато размерът на обектива и размерът на блендата са достатъчно големи, за да се постигне аналогово размазване, където пикселите са извън фокус. Мобилните телефони имат лещи и сензори (9), които са твърде малки, за да се случи това естествено (в аналогово пространство). Поради това се разработва процес на софтуерна емулация.

Пиксели, които са по-далеч от зоната на фокусиране или фокалната равнина, се замъгляват изкуствено с помощта на един от многото алгоритми за размазване, които обикновено се използват при обработката на изображения. Разстоянието на всеки пиксел от зоната на фокусиране се измерва най-добре и най-бързо чрез две снимки, направени на разстояние ~1 cm една от друга.

С постоянна разделена дължина и възможност за заснемане на двата изгледа едновременно (избягване на шум от движение), е възможно да се триангулира дълбочината на всеки пиксел на снимка (използвайки стерео алгоритъма за множество изгледи). Вече е лесно да получите отлична оценка на позицията на всеки пиксел спрямо зоната на фокусиране.

Не е лесно, но телефоните с двойна камера улесняват процеса, защото могат да правят снимки по едно и също време. Системите с един обектив трябва или да направят две последователни снимки (от различни ъгли), или да използват различно увеличение.

Има ли начин да се увеличи снимка без да се губи разделителна способност? телефото ( оптичен). Максималното реално оптично увеличение, което в момента можете да получите на смартфон, е 5× на Huawei P30 Pro.

Някои телефони използват хибридни системи, които използват както оптични, така и цифрови изображения, което ви позволява да увеличавате без видима загуба на качество. Споменатият Google Pixel 3 използва изключително сложни компютърни алгоритми за това, не е изненадващо, че не се нуждае от допълнителни обективи. Въпреки това, квартетът вече е внедрен, така че изглежда трудно да се направи без оптика.

Физиката на дизайна на типичен обектив прави много трудно поставянето на вариообектив в тънкия корпус на смартфон от висок клас. В резултат на това производителите на телефони са успели да постигнат максимум 2x или 3x увеличение на оптичното време благодарение на традиционната ориентация на смартфон със сензорен обектив. Добавянето на телеобектив обикновено означава по-дебел телефон, по-малък сензор или използване на сгъваема оптика.

Един от начините за преминаване на фокусната точка е т.нар сложна оптика (десет). Сензорът на модула на камерата е разположен вертикално в телефона и е обърнат към обектива, като оптичната ос върви по тялото на телефона. Огледалото или призмата се поставят под прав ъгъл, за да отразяват светлината от сцената към обектива и сензора.

10. Усъвършенствана оптика в смартфон

Първите дизайни от този тип включваха фиксирано огледало, подходящо за системи с двойни обективи като продуктите Falcon и Corephotonics Hawkeye, които съчетават традиционна камера и усъвършенстван дизайн на телеобектив в едно устройство. Въпреки това проекти от компании като Light също започват да навлизат на пазара, като използват подвижни огледала за синтезиране на изображения от множество камери.

Пълна противоположност на телефото широкоъгълна фотография. Вместо близък план, широкоъгълният изглед показва повече от това, което е пред нас. Широкоъгълната фотография беше представена като втора система от обективи на LG G5 и следващите телефони.

Широкоъгълната опция е особено полезна за заснемане на вълнуващи моменти, като например да сте в тълпа на концерт или на място, което е твърде голямо, за да заснемате с по-тесен обектив. Също така е чудесно за заснемане на градски пейзажи, високи сгради и други неща, които обикновените обективи просто не могат да видят. Обикновено няма нужда да превключвате към един или друг „режим“, тъй като камерата се превключва, когато се приближавате или отдалечавате от обекта, което се интегрира добре с нормалното изживяване на камерата. .

Според LG 50% от потребителите с двойна камера използват широкоъгълен обектив като основна камера.

В момента цялата линия смартфони вече е оборудвана със сензор, предназначен за упражнения. монохромни снимкитоест черно и бяло. Най-голямото им предимство е остротата, поради което някои фотографи ги предпочитат по този начин.

Съвременните телефони са достатъчно интелигентни, за да комбинират тази острота с информация от цветни сензори, за да създадат рамка, която теоретично е осветена по-точно. Въпреки това, използването на монохромен сензор все още е рядкост. Ако е включен, обикновено може да бъде изолиран от други лещи. Тази опция може да бъде намерена в настройките на приложението за камера.

Тъй като сензорите на камерата не улавят цветовете сами, те изискват приложение цветни филтри относно размера на пиксела. В резултат на това всеки пиксел записва само един цвят – обикновено червен, зелен или син.

Получената сума от пиксели се създава за създаване на използваемо RGB изображение, но в процеса има компромиси. Първият е загубата на разделителна способност, причинена от цветната матрица и тъй като всеки пиксел получава само част от светлината, камерата не е толкова чувствителна като устройство без матрица на цветния филтър. Тук на помощ идва фотографът, чувствителен към качеството, с монохромен сензор, който може да улови и записва в пълна разделителна способност цялата налична светлина. Комбинирането на изображението от монохромната камера с изображението от основната RGB камера води до по-детайлно крайно изображение.

Вторият монохромен сензор е идеален за това приложение, но не е единствената опция. Archos, например, прави нещо подобно на обикновения монохромен, но използва допълнителен RGB сензор с по-висока разделителна способност. Тъй като двете камери са изместени една спрямо друга, процесът на подравняване и сливане на двете изображения остава труден и крайното изображение обикновено не е толкова детайлно, колкото монохромната версия с по-висока разделителна способност.

В резултат обаче получаваме ясно подобрение в качеството в сравнение със снимка, направена с един модул на камерата.

Сензор за дълбочина, използван в камерите на Samsung, наред с други неща, позволява професионални ефекти на размазване и по-добро AR изобразяване, като се използват както предната, така и задната камери. Въпреки това, телефоните от висок клас постепенно заменят сензорите за дълбочина, като включват този процес в камери, които също могат да откриват дълбочина, като устройства с ултраширок или телеобектив.

Разбира се, сензорите за дълбочина вероятно ще продължат да се появяват в по-достъпни телефони и тези, които имат за цел да създават ефекти на дълбочина без скъпа оптика, като напр. мото G7.

Разширената реалност, т.е. истинска революция

Когато телефонът използва разлики в изображенията от множество камери, за да създаде карта на разстоянието от него в дадена сцена (обикновено наричана карта на дълбочината), той може да използва това за захранване приложение за разширена реалност (AR). Той ще го поддържа, например, при поставяне и показване на синтетични обекти върху повърхности на сцена. Ако това се прави в реално време, обектите ще могат да оживяват и да се движат.

Както Apple със своя ARKit, така и Android с ARCore предоставят AR платформи за многокамерни телефони. 

Един от най-добрите примери за нови решения, които се появяват с разпространението на смартфони с множество камери, са постиженията на стартиращата компания Lucid от Силициевата долина. В някои кръгове той може да бъде известен като създател VR180 LucidCam и технологична мисъл за революционния дизайн на фотоапарата Червено 8K 3D. 

Lucid специалисти създадоха платформа Ясно 3D Fusion (11), който използва машинно обучение и статистически данни за бързо измерване на дълбочината на изображенията в реално време. Този метод позволява функции, които досега не са били налични на смартфони, като усъвършенствано проследяване на AR обекти и жестикулация във въздуха с помощта на изображения с висока разделителна способност. 

11. Ясна технологична визуализация

От гледна точка на компанията, разпространението на камери в телефоните е изключително полезна област за сензори за разширена реалност, вградени във вездесъщи джобни компютри, които изпълняват приложения и винаги са свързани с интернет. Камерите за смартфони вече са в състояние да идентифицират и предоставят допълнителна информация за това към какво ги целим. Те ни позволяват да събираме визуални данни и да разглеждаме обекти с разширена реалност, поставени в реалния свят.

Софтуерът Lucid може да преобразува данни от две камери в 3D информация, използвана за картографиране в реално време и запис на сцена с информация за дълбочината. Това ви позволява бързо да създавате 3D модели и XNUMXD видео игри. Компанията използва своя LucidCam, за да проучи разширяването на обхвата на човешкото зрение във време, когато смартфоните с двойна камера бяха само малка част от пазара.

Много коментатори отбелязват, че като се фокусираме само върху фотографските аспекти на съществуването на многокамерните смартфони, ние не виждаме какво всъщност може да донесе подобна технология със себе си. Вземете например iPhone, който използва алгоритми за машинно обучение за сканиране на обекти в сцена, създавайки в реално време XNUMXD карта на дълбочината на терена и обекти. Софтуерът използва това, за да отдели фона от предния, за да фокусира селективно върху обектите в него. Получените боке ефекти са просто трикове. Важно е нещо друго.

Софтуерът, който извършва този анализ на видимата сцена, създава едновременно виртуален прозорец към реалния свят. Използвайки разпознаване на жестове с ръце, потребителите ще могат естествено да взаимодействат със света на смесената реалност, използвайки тази пространствена карта, като акселерометърът на телефона и GPS данните откриват и управляват промени в начина, по който светът е представен и актуализиран.

следователно Добавянето на камери към смартфоните, привидно празно забавление и съревнование в това кой дава най-много, може в крайна сметка да повлияе фундаментално на интерфейса на машината, а след това, кой знае, и на начините на човешкото взаимодействие..

Въпреки това, връщайки се към областта на фотографията, много коментатори отбелязват, че решенията с множество камери може да са последният пирон в ковчега на много видове фотоапарати, като цифровите SLR фотоапарати. Разрушаването на бариерите за качество на изображението означава, че само най-висококачественото специализирано фотографско оборудване ще запази смисъла на съществуването. Същото може да се случи и с камерите за видеозапис.

С други думи, смартфоните, оборудвани с комплекти камери от различни видове, ще заменят не само обикновените снимки, но и повечето професионални устройства. Дали това наистина ще се случи все още е трудно да се прецени. Засега го смятат за толкова успешен.

Вижте също: