Модуль ии в камере что это
Зачем Huawei искусственный интеллект?
Отдельный процессор для нейросетевых вычислений (его также называют ускорителем искусственного интеллекта) – хороший ход для компании Huawei, которая активно использует эту технологию в своих устройствах. Как и следовало ожидать, вслед за Huawei почти сразу последовали и конкуренты. HiSilicon Kirin 980 NPU, по словам производителя, стал эффективнее на 226%. Так на какие же задачи сегодня направлена деятельность искусственного интеллекта, спрятанного в смартфоне?
В Huawei Mate 20 Pro у NPU есть несколько направлений деятельности, рассказывает 3DNews. Самое главное – это, конечно, камера. Еще ранее смартфоны Huawei научились распознавать самые разные сцены в кадре и подбирать под них наиболее подходящие настройки. В прошлом году выросло как количество этих сцен (1500 сценариев из 25 категорий съемки), так и появилась возможность объединять по несколько сцен в одном кадре, тем самым повышая качество адаптации изображения под сценарий.
Также искусственный интеллект принимает активное участие в процессе фокусировки – он пытается предсказывать движение объектов, уверенно цепляется за них даже в динамичных сценах и хорошо себя проявляет при съемке видео. При видеосъемке камера Huawei Mate 20 Pro может даже делать приближение к ключевому, по мнению смартфона, объекту.
Также при съемке видео доступно несколько программных фильтров, делающих картинку более «киношной», а также программное размытие фона и выделение цвета при общей монохромной сцене.
Помимо активной помощи пользователю при фото- и видеосъемке нейросети внутри Huawei Mate 20 Pro анализируют действия пользователя и стараются адаптировать его работу для лучшего энергосбережения.
Специальная нейронная сеть работает и при элементарных телефонных звонках – она анализирует внешние шумы и подавляет их, что они не мешали беседе. Ну и, наконец, нейросеть работает в специальном приложении Microsoft для машинного перевода, не требующем постоянного подключения к Сети.
Конечно, ИИ для Huawei – это не только смартфоны. Компания достаточно давно занимается развитием технологий искусственного интеллекта. Совместно с партнерами она создает решения в самых разных областях. Одна из наиболее наглядных сфер применения ИИ — умные города: видеонаблюдение, современные городские ИИ-системы на транспорте и др.
В октябре 2018 года Huawei представила процессоры серии Ascend, оптимизированные для задач ИИ. Разработчики компании пошли по пути перекладывания решения отдельных задач на специализированные чипы, что должно обеспечивать более эффективное выполнение. Стратегия Huawei в области ИИ помимо процессоров включает также продукты и облачные сервисы на их базе, инвестиции в фундаментальные исследования и подготовку кадров, развитие портфолио комплексных решений для разных сценариев использования и создание открытой экосистемы.
В линейке Ascend пока что два процессора. Ascend 310 создан по технологии 12 нм и уже доступен на рынке. Выпуск Ascend 910 запланирован на второй квартал 2019 года. Как сообщается, он создается по технологии 7 нм и будет конкурировать с NVIDIA Tesla V100, обладая более высокой производительностью — 256 Тфлопс против 125 у V100. Серверы Huawei с новыми процессорами появятся в России в 2019 году. Они могут быть востребованы в финансовом секторе и в интернет-сегменте.
Huawei также анонсировала программно-аппаратную вычислительную платформу Atlas для ускоренной обработки рабочих нагрузок, связанных с ИИ. Она включает модули и устройства для создания инфраструктуры, в частности, — модуль ускорителя Atlas 200 AI, карту ускорителя Atlas 300 AI (для датацентров и периферийных серверов), периферийную станцию Atlas 500 AI и платформу Atlas 800 AI.
Новое оборудование Huawei нередко становится основой технологического предложения облаков российских провайдеров – партнеров компании. В их облаках появляются новые возможности для вычислений, связанных непосредственно с искусственным интеллектом.
Huawei также выпустила набор инструментов с открытым исходным кодом на своей облачной платформе, которые помогут разработчикам упростить создание решений ИИ — от моделей машинного обучения до развертывания систем на локальных устройствах. Инструменты будут доступны на сервисной платформе ИИ Huawei Cloud Enterprise Intelligence. Их можно будет применять и для ее движка для интеллектуальных устройств HiAI.
Новый фреймворк Huawei MindSpore на основе унифицированной распределенной архитектуры для машинного обучения поддерживает модели, обученные на других платформах, таких как TensorFlow и PyTorch, а также предоставляет гибкие API-интерфейсы.
Кроме того, Huawei анонсировала вычислительную архитектуру для нейронных сетей (CANN) с инструментарием разработки Tensor Engine, который обеспечивает автоматическую генерацию, настройку и оптимизацию кода. CANN также включает в себя TVM — комплексный оптимизирующий компилятор для задач глубокого обучения. По данным Huawei, CANN может утроить эффективность разработки.
Модуль ИИ в камере Хуавей: что это такое
11.12.2019 7,666 Просмотры
Под аббревиатурой ИИ принято понимать искусственный интеллект. В настоящее время им оснащается большое количество устройств. И смартфоны HUAWEI – не исключение. Что представляет собой данный модуль, какие возможности он предоставляет и как им пользоваться, будет рассмотрено в статье.
Что это такое
Компания ХУАВЕИ в 2019 году на слуху у всех. И это неудивительно, ведь она создала большое количество разработок, которые призваны изменить мир к лучшему. Камеры устройств, выпущенных ею, оснащены специальным процессором, используемым в ходе проведения нейросетевых вычислений. Альтернативное его наименование – ускоритель искусственного интеллекта. Этот ход компании стал прогрессивным.
Зачем это нужно
Особого внимания заслуживает камера устройства. С ее помощью можно без труда распознавать всевозможные сцены в кадре, а также осуществлять поиск и выбор оптимальных настроек. Количество этих сценариев в последнее время увеличилось. Новый показатель стал равняться 1500. Это дало пользователям возможность объединять несколько элементов в кадре и делать уровень адаптации более высоким.
Наряду с этим доступно одновременно несколько фильтров, которые делают картинку более красивой. Основной цвет при этом заметно выделяется, а фон при желании пользователя может быть размытым. Вместе с этим модуль ИИ позволяет осуществлять анализ пользовательских действий и делать соответствующие выводы.
Компания постоянно радует пользователей оригинальными новинками, в числе которых не только смартфоны, но и прочие устройства. Качество их постоянно растет, а цены остаются на приемлемом уровне.
Фототест: как работает Искусственный Интеллект при съемке?
Что за смартфон?
Huawei nova 3 — более «молодежная» и доступная «сестра» флагманских P20 Pro и Mate 20 Pro. При этом в nova 3 используется тот же мощный топовый процессор Kirin 970 c отдельным ядром для искусственного интеллекта (аналогичный P20 Pro), отличная двойная основная камера на 24 МП + 16 МП с зумом и двойная фронталка 24 МП + 2 МП — также с поддержкой искусственного интеллекта и аппаратного боке.
В нашем обзоре мы уже отмечали, что это одна из лучших камер в среднем ценовом диапазоне. Все при ней: и двукратный зум без потерь, и качественные модули, и ночная съемка. В нашем материале — тест камеры nova 3 в самых разных условиях на протяжении 10 дней. Получилась ли замена фотоаппарату?
Жесткий свет
Для тестов камеры мы прилетели в солнечный Севастополь. Богатство местной природы позволит произвести съёмку как при ярком контрастном свете, так и в полной темноте, мы найдем пещеры, животных, насекомых. И сделаем несколько селфи — куда же без них!
Большинство фотографий в этом материале представлены в формате слайдеров. С одной стороны представлен снимок в стандартном режиме, а с другой — с включенным AI режимом.
В ночном снимке искусственный интеллект не поскупился на двойную экспозицию — слабее освещенный тротуар на «умной» фотографии высветлен и смотрится значительно ближе к тому, как это выглядело в реальности. Тот же трюк днем может пригодиться при контровом свете, например, если съемка ведется из помещения или из тени в сторону освещенной улицы.
Мягкий свет
Если камера видит зеленую растительность, нейросеть автоматически накладывает специфический фильтр, который повышает насыщенность цветов. Без AI режима сцена с сотрудником аэропорта, который поливает зеленую стену с живыми папоротниками на высоте третьего этажа смотрится не так впечатляюще.
То же касается неба — днем над морем часто бывает не очень живописная белесая дымка, из-за которой вода некрасиво сливается с небом. Но искусственный интеллект приходит на помощь. Обученный миллионами примеров алгоритм точно определяет, небо и линию горизонта и добавляет синевы, отдельно улучшая другие видимые объекты, например, зеленый лес ялтинских предгорий.
Впрочем, в пасмурную погоду это режим работает не хуже.
Как работает ИИ в камере
К слову, в отличие от моделей прошлого года, в nova 3 AI режим работает не только на основной, но и на фронтальной камере.
Благодаря точному распознаванию сцен, смартфон одним щелчком затвора делает снимки, которые потом можно спокойно выгружать в Инстаграм с хештегами #снятонаhuawei и #безобработки — и не нужны ни сторонние редакторы, ни даже встроенные фильтры самой соцсети, кадры и так смотрятся ярко и вызывают зависьть (и лайки).
Но, пожалуй, куда более практически значимой особенностью «умной» камеры Huawei nova 3 можно назвать ее способность делать отлично детализированные, четкие снимки даже при очень плохом освещении.
Тут в дело вступают несколько характеристик. Во-первых, двойная камера уже традиционно для Huawei состоит из основного цветного и второго черно-белого сенсора. Так как ч/б матрице не надо улавливать цветовые оттенки, она способна захватывать больше света, подробнее прорабатывая объекты в темноте с меньшим количеством шумов. Одновременно с этим камера делает и цветной кадр, а потом объединяет сырую информацию с двух цифровых матриц в одно резкое цветное изображение.
Но это еще не все — смартфоны Huawei 2018 года используют комбинацию оптической и «интеллектуальной» цифровой стабилизации изображения. Так называемая AIS (AI image stabilization) предугадывает (почти всегда корректно) движения объектов и направление тряски рук, чтобы снимки с длинной выдержкой меньше смазывались. Работу в темноте можно оценить на кадрах из Мраморной пещеры в горе Чатырдаг, в которой никогда не было естественного света.
А еще продвинутая стабилизация отлично проявляет себя при макросъемке на телеобъектив. С двукратным зумом эффект от всех движений камеры удваивается, и сделать качественный резкий кадр сложнее. AIS решает эту проблему, а искусственный интеллект параллельно увеличивает контрастность и проработку структуры, чтобы мелкие объекты вроде цветов и насекомых лучше выделялись из фона.
В официальной рознице Huawei nova 3 стоит 29 990 рублей с учетом целого вороха подарков для отпуска и продолжительной фото-охоты со смартфоном: внешнего аккумулятора с поддержкой быстрой зарядки Huawei Charge, фитнес-трекера Huawei Band 2 Pro и монопода-штатива.
«Искусственный интеллект» в смартфонах — как это работает
Гонку технологий нельзя закончить, но удивлять и привлекать потребителя числовыми характеристиками становится все сложнее. Поэтому за последние пару лет мы увидели немало экспериментов в дизайне и новых программных возможностей смартфонов. Можно вспомнить всеми «любимые» вырезы в экранах, но, пожалуй, с конца 2017 года чаще всего приходится слышать словосочетание «искусственный интеллект». То, что еще 10 лет назад жило в научных лабораториях, пять лет назад стало общедоступным через сервисы Google, сегодня в буквальном смысле появляется в наших карманах.
Наличие «искусственного интеллекта» стало модной и даже обязательной характеристикой любого актуального аппарата и порою удивляешься, как много привычных функций вдруг стали «умными». Впрочем, вендоров тут можно как поругать, так и понять, ведь ИИ — весьма широкое понятие, за которым не обязаны скрываться сложные алгоритмы.
Изображение из статьи про ИИ на vas3k.ru
Облака VS устройства
Пользователи того же Gmail или Ассистента Google могут спросить — если на смартфонах уже есть подобные «умные» сервисы, то что изменилось за последний год? В первую очередь — часть функций теперь можно реализовать прямо на устройствах, не задействуя «облака».
Например, Google Фото и раньше распознавал людей на фотографиях, а также позволял совершать поиск по изображениям, но каталогизация фотографий происходила только после их загрузки на сервера компании. С появлением чипсетов вроде Kirin 970 cо встроенным NPU-модулем (Neural Processing Unit) распознавание изображений можно реализовать прямо на устройстве, а значит — более быстро (не тратится время на загрузку-выгрузку данных) и безопасно (ваши фото точно никто не увидит, даже алгоритм на сервере). Использование для этих задач специального модуля позволяет оптимизировать энергопотребление и скорость работы, ведь реализация подобной функциональности силами CPU и GPU возможна, но не эффективна. 
Huawei первыми заявили об «умности» своих смартфонов, но не единственные, кто работает в этой области. После анонса Kirin 970 и Mate 10 (Pro) Apple представила платформу A11 Bionic со встроенным Neural Engine, а в Snapdragon 845 есть DSP Hexagon 685, ориентированный на решения тех же задач.
Сказать, чей ИИ лучше, даже в плане характеристик, сложно, ведь какого-то стандартного и независимого инструмента измерений пока не придумали, и на разных устройствах «интеллект» решает разные задачи. Поэтому нет ничего удивительного в том, что когда Huawei измеряет производительность своего NPU по сравнению с решением от Qualcomm первый оказывается быстрее. Но ничто не мешает как минимум ознакомиться с возможностями конкретного смартфона, которые задействуют ИИ-функциональность.
ИИ для камер
«Искусственный интеллект» давно доказал свою эффективность в задачах распознавания изображений и вполне очевидно, что он применяется в камерах смартфонов. В случае Huawei P20 Pro — это функциональность распознавания сцен. Модуль NPU распознает порядка 2000 изображений в минуту, значит практически в режиме реального времени может опознать, что именно находится в кадре и подобрать максимально подходящие для конкретного сюжета настройки. 
Что это дает? Обычно автоматика подбирает параметры съемки исходя из освещенности, контрастности сцены и прочих параметров. Распознавание объектов позволяет улучшить алгоритмы. Для тех, кто понимает что такое ручные настройки, вполне очевидно, что снимая подвижный объект в первую очередь стоит задача получить резкий снимок, поэтому стоит уменьшить выдержку и можно поднять ISO немного пожертвовав качеством, а для съемки пейзажа или портрета нужен другой набор настроек. 
Софт распознает сцену и подбирает лучшие параметры съемки или переключает камеру в нужный режим работы. Заодно может происходить пост-обработка фотографии — ПО повысит контрастность и насыщенность цветов, будто на фото уже наложен фильтр Instagram. С точки зрения профессиональной фотографии такой снимок может показаться неправильным, но будем честны — в мобильной фотографии всегда были важны алгоритмы, чтобы фото отлично выглядело на экране и нравилось рядовому пользователю, а точность передачи цветов оставим DSLR-камерам.
Актуальные модели уже распознают порядка 20 сцен с набором дополнительных настроек в зависимости от конкретных условий съемки. Набор сцен заранее «зашит» в ПО, производитель сам занимается первоначальным обучением нейронной сети (если используются именно сети), подбором фотографий для такого обучения и так далее. В дальнейшем эту функциональность можно расширять с помощью классических обновлений ПО.
Использование ИИ не заканчивается на одном только распознавании сцен. Тот же P20 Pro может похвастаться «интеллектуальным» автофокусом и стабилизацией видео. Работа первого заметна в виде небольших квадратов, которые обозначают точки фокусировки на подвижных объектах, например, они появляются на качающихся от ветра растениях.
Второй задействуется для продвинутой стабилизации видео и работает в паре с оптическим стабилизатором — при съемке Full HD с рук можно получить плавную картинку при ходьбе, сравнимую с той, что дают отдельные стабилизаторы. Правда, без ограничений не обошлось — это работает только для съемки Full HD @30fps и не доступно для Full HD @60fps и 4K-видео.
Еще один пример работы ИИ — съемка замедленного видео (HD @960fps). Впервые функция появилась на смартфонах Sony и тестируя ее мы отмечали, что добиться желаемого результата сложно, нужно самому ловить момент, когда пора нажать на спуск, а камера замедляет всего секунду реального времени. В Huawei P20 Pro изначально это работало таким же образом, но потом алгоритм изменили. Теперь пользователь включает нужный режим, наводит камеру и помещает специальный квадрат в область кадра, где ожидается движение. После нажатия на спуск камера сама определяет, когда начнется движение в выделенной области и замедляет видео — так гораздо легче добиться желаемого результата.
Распознавание объектов позволило добавить каталогизацию в локальную галерею. В ней появилась вкладка «Обзор», где фотографии сортируются в зависимости от места съемки, по лицам распознанных людей, а также категориям (в моем случае — еда, документы, пейзажи). Тут же работает локальный поиск, он быстрый, но не настолько умный как в Google Photos, потому что работает только в рамках знакомых локальному ИИ параметров сцен, лиц и местоположений.
… для шоппинга
Применимость отдельных функций зависит от рынка. Например, привычный для Huawei сканер QR-кодов получил интеграцию с Amazon Assistant — приложение распознает товары и пытается найти похожие на одноименной торговой площадке. Пока он работает не слишком хорошо и мало применим у нас, но вдруг появится интеграция с более подходящим сервисом?
… для перевода
Еще один сценарий использования ИИ — распознавание речи и перевод. Мощности NPU в этом случае задействует переводчик Microsoft Translator. Приложение может работать как обычный переводчик, переводить текст на фотографиях, отдельные фразы и даже работать «живым» переводчиком для группы из нескольких человек. Без подключения к сети в данном случае работает только простейший перевод, а остальные, более сложные сценарии все же требуют наличия подключения к интернету.
… для безопасности
Среди областей применения «искусственного интеллекта» называют и безопасность, что в целом понятно. В первую очередь это уже упомянутая обработка всех данных на устройстве, во вторую — Face Unlock, когда с помощью ИИ происходит распознавание лица пользователя. Цифровой снимок (модель) лица пользователя при этом хранится в специальной зашифрованной области памяти, как и отпечатки пальцев. 
… для производительности
В случае почти всего, что связано с изображениями, речь зачастую идет об уже «обученных» алгоритмах — без обновлений камера не станет лучше распознавать вашего кота или не перестанет путать его с собакой (что тоже случается). В то же время производители заявляют, что ИИ позволяет оптимизировать работу устройства для конкретного пользователя.
Запоминая типичные последовательности запуска приложений и строя зависимости от времени-места софт способен ускорять запуск отдельных программ в частности и оптимизировать работу смартфона в целом, что должно вылиться и стабильно хорошую скорость работы и позитивно сказаться на автономности.
Компании заявляют, что ИИ используется в том числе и в алгоритмах шумоподавления при телефонных разговорах и многих других аспектах. Единственное «но» — все это крайне сложно проверить на практике.
Что дальше?
Наличие «умных» функций «из коробки» улучшает пользовательский опыт, но речь идет только о первой волне внедрения ИИ в смартфоны. Следующий этап — использование потенциала платформы сторонними приложениями. Хорошим тоном является наличие API для разработчиков и поддержка популярных библиотек вроде TensorFlow от Google и Сaffe от Facebook. Все это уже есть, осталось только дождаться приложений, которые покажут преимущества современных аппаратов. Это могут быть как AR-игры, так и приложения для решения отдельных задач. 
Примечательно и то, что в конце 2017 года ИИ встречался в единичных флагманах, а спустя год появляется в аппаратах среднего сегмента. Например, Huawei P Smart+ лишен NPU, который есть во флагманах, но тоже является «умным» — компания смогла реализовать похожую функциональность силами отдельного DSP в новой SoC Kirin 710. Камера быстро распознает сцены, самих сцен стало еще больше, при этом ИИ работает и для фронтальной камеры, и галерея точно также сортирует изображения по различным категориям.
Слухи о Kirin 980 говорят о том, что в новых флагманах мы увидим второе поколение встроенного NPU и он наверняка принесет новую функциональность. Какую именно — пока неизвестно, но то что ИИ превращается в еще одну важную функцию современных смартфонов, понятно уже сегодня.
Huawei рекомендует:
[hl_line style=»text-align: center;»> Материал подготовлен при поддержке Huawei