Что такое google lens и как им пользоваться
«Google Объектив»: сканирует, анализирует, информирует
Смартфоны пока не стали умнее нас, но уверенно движутся к цели. Убедиться в этом просто: наводишь камеру на интересующий объект, получаешь ответы — именно так и работает приложение Google Lens, или «Google Объектив». Как же оно устроено? Что умеет и где ошибается искусственный интеллект? И, наконец, есть ли от него практическая польза? Разбираемся в возможностях Google Lens на Nokia 7.1.
Как «очки» стали «объективом»
Если помните, было много лет назад такое популярное приложение Google Goggles со стереоочками на иконке. Оно использовало камеру смартфона для считывания штрихкодов и QR-меток, «узнавания» достопримечательностей, определения текстовых данных и иногда даже их перевода на другие языки. В общем, прибегало к помощи нейросетевых алгоритмов задолго до того, как это стало мейнстримом.
Вспомнили? А ведь официальная поддержка Goggles прекратилась совсем недавно — 20 августа 2018-го. К этому моменту уже почти год был доступен на фирменных «Пикселях», и примерно полгода — на прочих «Андроидах» более продвинутый Google Lens, он же «Google Объектив».
Сегодня использовать его могут владельцы практически всех современных устройств. На Android приложение доступно вместе с «Google Ассистентом» или отдельно. Некоторые вендоры встраивают Lens прямо в функции «Камеры» — примерно как в «Пикселях». Точно так же это реализовано и в актуальных устройствах Nokia, работающих на Android One, благодаря которому они программно близки к устройствам Google.
В Google Ассистенте значок «Объектива» расположен снизу справа (в версиях для других аппаратов может быть слева) 
В приложении «Камера» на Nokia 7.1 значок «Объектива» — второй слева вверху
Принцип работы и возможности «Google Объектива»
Главная задача приложения — определить объект в видоискателе, выдать информацию и предложить варианты действий в зависимости от результата. Для этого используются прежде всего технологии глубокого машинного обучения и нейросетевые алгоритмы. То, что на языке маркетинга называют «искусственным интеллектом в смартфоне» и подо что уже второй год активно затачивается мобильное «железо» — например, CPU с нейросетевыми сопроцессорами. А в наполнении базы участвуют пользователи Google и сам поисковик. Всякий раз, когда кто-то исправляет информацию об объекте, работа системы становится лучше.
Вероятно, следующий топовый чип Snapdragon 855 (8150) тоже будет оснащён собственным нейросетевым сопроцессором
Всё, что удалось определить, алгоритм помечает кружочками — значит, информация доступна пользователю. Каждый объект приложение относит к той или иной категории: растение или животное, смартфон или ноутбук, текст или картинка, обложка книги или диска и так далее. Затем предлагает несколько сценариев работы с изображением.
Текст на картинке трансформируется в символьные данные внутри смартфона. Приложение автоматически конвертирует текст и позволяет выборочно скопировать его, загуглить или перевести с иностранного языка на родной.
Обложки, вывески и логотипы вызывают соответствующие карточки с информацией: название игры, автор и название книги, тип заведения (сеть магазинов или, например, бар) и так далее.
Растения и животные распознаются с точностью до рода или породы. Если не уверен, можно легко определить, что перед тобой — куст муррайя или кот мейнкун.
Одежду, посуду, элементы декора и другие вещи алгоритмы тоже определяют и либо выдают общую информацию о типе объекта, либо предлагают купить это же или что-то максимально похожее в интернет-магазине.
Штрихкоды и QR-коды стандартно считываются приложением и тут же раскрывают зашифрованные в них данные.
Иными словами, «Google Объектив» можно считать полезным приложением дополненной реальности, позволяющим быстро узнать нужную информацию о том, что нас окружает. На словах это прекрасно, но что на деле? Берём смартфон Nokia 7.1 и отправляемся проверять.
Как приложение справляется на практике
Прежде чем ответить на этот вопрос, необходимо уточнить: умные сервисы Google, «Ассистент» и «Объектив», только в этом году стали понимать русский язык. Разумно предположить, что Google Lens с русскоязычным контентом будет работать не так точно, как с английским. Но поскольку нас интересует прежде всего родной язык, тестировать приложение будем именно с ним. И, разумеется, пройдёмся по каждому перечисленному выше сценарию.
Текст
Вне зависимости от языка, текст приложение определяет с высокой, можно даже сказать, образцово-показательной точностью. Разве что изредка может ошибаться с регистром — видит ложные строчные буквы среди прописных. Не выходя из приложения, нужный фрагмент можно выделить, и контекстное меню тут же предложит его загуглить, скопировать или перевести. В последнем случае ожидаемо открывается Google Переводчик. Отдельная история с визитками и резюме — алгоритм их определяет и предлагает загрузить данные в список контактов. Причём с автоматически заполненными полями «ФИО», «телефон» и «e-mail».
Обложки, вывески и логотипы
Логотипы с характерными и узнаваемыми чертами программа определяет довольно точно: известные игровые тайтлы, книги с уникальной обложкой, вывески баров и так далее. Но когда речь заходит о сериях, начинаются сложности. Лого свежей RDR II сначала прочиталось как просто «Red Dead Redemption», но во второй раз алгоритм был точнее. Разные книги из одной серии определялись либо с ошибками, либо программа вообще не понимала, что она видит, — так произошло с изданием Эдгара По.
Растения и животные
Поскольку котиков в редакцию вместе с тестовым Nokia 7.1, увы, не завезли, для проверки пришлось взять фото из интернета. С довольно сложной фотографией мейнкуна приложение справилось уверенно: и самого кота определило, и его породу. А вот с растениями всё не так просто — тут алгоритм часто даёт сбой и выдаёт неправильный род растения. Но с редакционной толстянкой, в общем, справился.
Различные объекты
Как говорится, сколько объектов, столько и версий. Но в данном случае поведение приложения можно разделить на три сценария. В первом оно точно понимает, что видит, и предлагает загуглить аналоги или даже купить их в магазине — например, кружку, условный смартфон или условный телевизор, пальто или другую одежду. Во втором срабатывает своего рода ассоциативная цепочка: показываешь «Объективу» контроллер DualShock 4, а он видит и предлагает загуглить целый PlayStation 4. Наконец, некоторые объекты приложение вовсе может не обработать — канцелярские принадлежности, пакеты, диван, стол и так далее.
Штрихкоды и QR-коды
Зашифрованные данные считываются безошибочно. Но с фокусом бывают проблемы, особенно при тусклом освещении и если код настолько маленький, что камере трудно на нём сосредоточиться. Вопросы не только к окружающим условиям — по какой-то причине алгоритмы «Google Объектива» с большим трудом ловят правильный фокус, а выставить его вручную нельзя. Но если уж всё получилось, информация поступает как положено.
Итоги
Зачем мы всё это рассказали? Дело в том, что «Google Объектив» — приложение, которое трудно оценить сразу. На протяжении многих лет Корпорация Добра доказывала, что нейросетевые алгоритмы со временем действительно умнеют. Уже сегодня приложение способно существенно облегчить жизнь пользователю, от которого только и требуется что навести смартфон, тапнуть в кружочек и тут же получить нужную информацию. А что будет дальше — трудно даже вообразить.
Google Lens: удобное приложение для всех!
Пользователей смартфонов с Андроид часто интересует вопрос, касающийся Google Lens — что это, для каких целей используется, и какие возможности дает владельцам мобильных устройств. Ниже рассмотрим эти моменты подробнее. Приведем особенности программы, ее функции и правила применения.
Google Lens: это за приложение, зачем оно нужно
Для начала разберемся с назначением приложения Гугл Объектив, и что это такое.
Google Lens — программное обеспечение, предназначенное для определения объектов в объективе камеры. Дополнительно ПО умеет определять названия, штрих-коды и даже телефонные номера с возможностью совершения звонка.
Функции и возможности
Чтобы разобраться в особенностях программы Google Объектив, что это, и для чего необходимо, потребуется несколько секунд. Софт работает в нескольких режимах, каждый из которых открывает индивидуальные возможности.
Автоматически
Эта опция находится в центральной части и дает позволяет решать следующие задачи:
Чтобы пользоваться автоматическим определением объектов в программе Google Lens, необходимо подключение к Интернету (по Вай-Фай или 4G). При отсутствии Сети можно сделать Фото и нажать на символ объектива внизу экрана. Как только появляется доступ к Интернету, вы получаете нужные сведения.
Перевод
При изучении обзоров программы Гугл Объектив, и что это такое, многие отмечают опцию переводчика. Ее возможность состоит в переводе наклеек, меню, знаков и других объектов. Преимущество в том, что работа происходит в автоматическом режиме. Иногда программе не справляется с задачей или ей требуется больше времени на выдачу результата. В таком случае попробуйте изменить позицию по отношению к предмету, добавьте освещение путем нажатия специальной кнопки в меню.
Приложение Google Lens поддерживает около 100 разных языков, поэтому с переводом не возникает трудностей. При этом родной язык определяется в автоматическом режиме. В качестве альтернативы можно использовать другое похожее приложение, к примеру, Google Translate. Оно работает по похожему принципу, но имеет более расширенный функционал.
Кафе и рестораны
Если вы находитесь в заведении общественного питания, можно использовать раздел Кафе и рестораны. С его помощью легко выделить наиболее востребованные пункты меню и даже перевести их на русский язык. Приложение выдает наиболее популярные блюда, которые наиболее востребованы среди пользователей.
Покупки
При переходе в этот раздел можно навести на интересующий товар и сразу получить ссылку для его приобретения. Это полезная опция, которой можно пользоваться в любой стране мира.
Текст
При выборе этой функции Google Lens сканирует текстовую информацию, предлагает перевести ее или озвучить. Последний вариант полезен людям, имеющим проблемы со зрением.
Дополнительные опции
С помощью Google Lens также можно:
Программа Google Lens способна взаимодействовать с другим софтом от Гугл — Фото, Ассистент или Камера.
Как пользоваться приложением
Много вопросов касается того, как пользоваться Google Lens. Для применения опции обязательное условие — установка на смартфон последней версии приложения. В остальном Гугл Объектив очень просто в применении.
Общий алгоритм такой:
Если в помещении, где выполняется распознавание, недостаточная освещенность, жмите на символ с молнией слева вверху. В этом случае в смартфоне включается подсветка. С правой стороны находится небольшое меню, которое «спрятано» за тремя точками. При нажатии на него можно Отправить отзыв, изучить Политику конфиденциальности и Условия использования.
Как вариант, используйте в качестве помощника Гугл Ассистента. Для этого скажите Окей, Гугл или жмите на кнопку, расположенную на главном экране.
При желании можно получить дополнительную информацию о любой из сделанной ранее фотографии. Для этого войдите в Google Lens и жмите на кнопку галереи справа вверху (возле трех точек). После этого выберите нужную фотографию, чтобы система ее проанализировала.
Итоги
Теперь вы знаете, что такое Гугл Объектив, и как им пользоваться на смартфоне. Программа полезна, занимает немного места (около 80 Мб) и должна быть установлена на каждом телефоне. Google Lens можно пользоваться в любой точке мира и быть уверенным, что рядом находится реально полезный помощник.
12 способов повысить продуктивность работы на Android с помощью Google Lens
Google Lens можно назвать поисковой системой для реального мира. Это приложение использует искусственный интеллект для анализа текста и идентификации объектов, причём объектов как на изображениях, так и на камере вашего телефона в режиме реального времени.
Google Lens позволяет вам узнавать об этих элементах и взаимодействовать с ними всевозможными способами. Способность Lens, скажем, идентифицировать цветок или дать информацию о какой-то достопримечательности, безусловно, впечатляет.
Однако другие возможности системы, на первый взгляд кажущиеся более прозаичными, с гораздо большей вероятностью найдут место в вашей повседневной жизни.
Возьмите свой Android, установите приложение Google Lens, чтобы научить свой телефон некоторым новым полезным трюкам.
Копирование текста
Самое главное достоинство Google Lens — это его способность извлекать текст из физического объекта, например из бумажного документа, книги, записей на лекционной доске и т.д., а затем копировать этот текст в буфер обмена вашего телефона. Оттуда вы легко можете вставить текст в Google-документ, заметку, электронное письмо, чат Slack… одним словом, в любое место.
Чтобы скопировать текст, просто откройте приложение Google Lens, нажмите на значок «Документ» и наведите камеру телефона на объект. Примерно через секунду вы сможете убедиться, что Lens справился с поставленной задачей.
Коснитесь пальцем любой области изображения, и вы сможете выделить именно эту часть текста.
Всё, что вам осталось сделать, это нажать кнопку «Копировать» в нижней части экрана. После этого все выделенные слова окажутся в системном буфере обмена и будут готовы для вставки.
Отправка текста на ваш компьютер
Давайте посмотрим правде в глаза: большинство из нас работает не только на мобильных Android-устройствах, но и на ПК. Если вам нужно перенести текст из реального мира на свой компьютер, Lens справится и с этим.
Выполните те же действия, что были описаны выше, но на этот раз на панели в нижней части экрана выберите опцию «Копировать на компьютер». Если вы вошли в Chrome с тем же Google-аккаунтом, что и на компьютер (на любой компьютер, будь то Windows, Mac, Linux или Chrome OS), эта опция должна появиться. Когда вы нажмёте на эту кнопку, вы получите список всех доступных направлений копирования.
Выберите нужный компьютер, если он у вас не один, и, как по волшебству, текст из физического документа окажется в буфере обмена этого компьютера. Нажмите Ctrl-V (или Cmd-V на Mac), и готово! Текст появится в любом текстовом поле, в любом приложении или процессе, поддерживающем вставку.
Прослушивание текста
Предположим, вам только что вручили длинную памятку, какую-нибудь распечатку, или же вы получили письмо от вашей любимой тётушки. Что бы это ни было, дайте своим глазам передышку, позвольте Lens прочитать это за вас.
Просто наведите телефон на бумагу, как вы это делали раньше, и коснитесь значка «Документ». Выделите нужный фрагмент текста, и на этот раз найдите в нижней части экрана опцию «Слушать».
Проделав всё это, вы получите то, что хотели. Приложение Google Lens прочитает вам выбранный текст вслух успокаивающе приятным голосом.
Эй, Google, а как насчёт сказки на ночь?
Взаимодействие с текстом из изображения
Lens способен извлекать текст не только из «живых» документов, но и из изображений, включая как фотографии, так и захваченные вами скриншоты.
Последнее открывает довольно интересные возможности. Допустим, вы только что получили электронное письмо с номером отслеживания, но номер этот, к сожалению, невозможно скопировать (подобное, кажется, происходит слишком часто). Или, может быть, вы хотите скопировать содержимое веб-страницы, где текст по какой-то причине не выделяется.
Что ж, сделайте скриншот, одновременно нажав кнопки питания и уменьшения громкости телефона, а затем перейдите в приложение Google Lens. Нажмите на квадратный значок «фотографии» в правом верхнем углу приложения, выберите только что сделанный снимок экрана, а затем выделите нужный текст.
Теперь вы можете скопировать текст, отправить его на свой компьютер, или выполнить с ним любые другие действия.
Поиск текста в документе или изображении
После того как вы захватили текст из бумажного документа или изображения, проведите пальцем влево по строке опций в нижней части экрана — той, где есть «Копировать текст», «Копировать на компьютер» и т.д. Вы вряд ли догадаетесь об этом, просто глядя на экран приложения, но, оказывается, справа от этих опций скрывается ещё несколько вариантов.
Один из них — простой, но чрезвычайно полезный «Поиск». Используйте его, чтобы получить информацию из текста из любого физического документа или захваченного изображения без необходимости делать что-то вручную.
Создание события в календаре
Когда вы увидите что-то с датой, например флаер, рекламный щит или приглашение на какое-то мероприятие, избавьте себя от необходимости вручную вводить эту информацию в свой цифровой календарь. Просто откройте приложение Google Lens.
Наведите камеру телефона на физический объект, а затем нажмите на указанную в тексте дату. Lens должен предоставить вам опцию «Создать событие в календаре» на нижней панели. При нажатии на эту кнопку информация будет передана прямо в ваше приложение-календарь, чтобы вы могли настроить его и сохранить.
Сохранение контактной информации
Если вы поймали себя на мысли: «Ну, чёрт возьми, как же мне не хочется вводить всё это в своё приложение для контактов», держа в руках чью-то визитную карточку, значит, настало время вновь перепоручить Lens сделать работу за вас.
Откройте Lens, наведите камеру телефона на визитку и нажмите на имя человека. Приложение должно распознавать характер информации и предложить вам добавить контакт.
Ещё одно нажатие, и всё готово.
Электронная почта, звонок или переход на сайт
Предположим, у вас есть некий объект, содержащий адрес или номер телефона, которые нужны вам для совершения определённого действия. Это может быть визитная карточка, письмо или даже табличка на входной двери организации. В любом случае просто откройте приложение Google Lens, наведите на объект камеру телефона и коснитесь той области экрана, где находится нужный вам текст. Или вариант Б: сфотографируйте нужную информацию, а позже загрузите фотографию в приложение Lens.
Как только Lens увидит текст, он предложит сделать подходящее для такого рода информации действие. Одно касание, и вот вы уже получили адрес, готовый для добавления в черновик электронного письма, номер телефона, готовый для звонка или отправки sms, или сайт, загруженный и готовый для просмотра в вашем браузере. Так вы сэкономите уйму времени, которое уйдёт на ручной ввод текста.
Перевод текста
Если во время визита в другую страну вы не можете понять, что написано, к примеру, на вывеске, вспомните о приложении Google Lens, которое имеет встроенную функцию перевода. Чтобы найти её, откройте приложение, наведите телефон на текст и щёлкните по кружочку с буквой «A» (в левом углу нижнего ряда).
Lens заменит слова на экране телефона их английскими эквивалентами (или переведёт на любой другой язык, который вы выберете, если английский вам не подходит). Поверьте, это очень эффективно.
Сканирование штрих-кодов и QR-кодов
Было время, когда Android-приложения для чтения кодов были в моде, и многие люди до сих пор ими пользуются. Но если на вашем телефоне установлено приложение Google Lens, ничего другого вам больше не понадобится. Просто откройте Lens и наведите камеру на любой штрих-код или QR-код. Приложение мгновенно предложит вам показать всю информацию, что содержится в этом коде.
Использование Lens из Image Search, Photos и камеры вашего телефона
Все те приёмы, о которых мы говорили выше, могут работать не только из самого приложения Google Lens, но и из нескольких других потенциально полезных мест на вашем телефоне:
● Google Image Search: Каждый раз, когда вы просматриваете изображения на сайте images.google.com в браузере телефона, следите за значком объектива в правом верхнем углу экрана. Нажатие на значок активирует Lens, который предоставит вам информацию о том, что изображено на фото.
● Google Photos: Видите третий по счёту значок внизу экрана, когда вы открываете изображение в приложении «Фото»? Это Lens! Нажатие на значок запустит Lens, позволяя копировать текст, активировать ссылки и получать дополнительную информацию обо всём, что Lens способен распознать.
● Ваша камера: На телефонах Pixel и некоторых других устройствах вы можете найти Lens в обычном приложении камеры. Просто откройте камеру, а затем нажмите и удерживайте палец в любом месте видоискателя, чтобы запустить Lens-поиск в поле зрения объектива камеры. Результаты появятся прямо здесь, без необходимости переключения между приложениями и дополнительного поиска.
Быстрое открытие приложения Lens
И напоследок небольшой совет: Если вы хотите быстро открыть приложение Google Lens, откажитесь от привычных жестов, а вместо этого скажите: «Эй, Google! Открой Google Lens». Ваш дружелюбный помощник, который всегда под рукой, с радостью это сделает.
Что такое Google Lens, стоит ли его скачать и сколько людей уже сделали это
Google постоянно представляет и выпускает какие-то бесплатные сервисы. Иногда они пропадают так же быстро, как и появляются, но чаще всего они оказываются действительно полезными. Одним из таких сервисов является Google Lens. Многим людям это приложение известно под названием Google Объектив, но чаще встречается именно первое название. За свою историю оно успело пройти путь от презентации до полумиллиарда скачиваний. На этом пути оно было эксклюзивной функцией, сервисом в сервисе и отдельным приложением. Давайте разберемся, что это, для чего нужно это приложение и почему его стоит скачать, если вы пользуетесь смартфоном на Android.
Google Lens удобно пользоваться для большого числа задач.
Что такое Google Lens
Google Lens — один из многих бесплатных полезных инструментов, предоставляемых Google. Автономное приложение для этой службы было выпущено в Play Store в июне 2018 года. Теперь, чуть больше, чем через полтора года оно может похвастаться количеством установок, которое перевалило за 500 миллионов. Это только те случаи, когда пользователи заходили в фирменный магазин Google Play и самостоятельно скачивали его. Случаи, когда приложение было интегрировано в смартфон изначально, в этой статистике не учитываются.
Сервис Google Lens удобен тем, что позволяет распознать изображение при помощи камеры смартфона. Изначально такая возможность была продемонстрирована на конференции Google I/O 2017. Осенью того же года инструмент был интегрирован в Google Assistant на смартфонах Google Pixel 2 и Pixel 2 XL.
Еще спустя несколько месяцев Google Lens стал частью Google Фото. Таким образом он вышел за пределы фирменных устройств компании и получил возможность установки на любые Android-смартфоны.
Google Lens может определить на фото самые разные объекты
Смартфоны с Google Lens
Кроме возможности использования Lens в составе Google Фото, пользователи начали обнаруживать его в составе камер своих смартфонов. Все из-за того, что примерно в это же время сторонние производители получили возможность встраивания приложения в камеры своих устройств. Правда, не все спешили делать это, ведь для этого приходилось переписывать код приложения, а многим не хотелось тратить на это силы и время. Тем более, те, кому это было нужно, могли просто скачать Google Фото и получить те же возможности.
Видели, какие крутые штуки публикуются в Telegram-канале Сундук Али-Бабы? Например такой кабель:
Только после этого Google Lens дебютировал как отдельное приложение в магазине Google Play. Несмотря на то, что оно является независимым, его работа зависит от приложения Google, как и Google Assistant, и Google Podcasts.
Помимо сканирования текстов и их перевода, Google Lens также позволяет пользователям копировать отсканированный текст на свой компьютер, искать определенный объект, решать математические и научные задачи, распознавать рукописные заметки и многое другое.
Определил объект и нашел его в поиске. Удобно!
Стоит ли пользоваться Google Lens
Признаюсь честно, я как-то не проникся любовью к этому сервису, так как привык все делать более олдскульно и даже по-старомодному, но несколько раз обращался к нему за помощью. При этом даже у нас в редакции есть люди, которые пользуются им намного более активно и нахваливают его, рассказывая о том, как Google Lens упрощает жизнь.
Наибольшей популярности приложение достигает на домашнем рынке — в США. Там вокруг него построены многие магазины, индустрия развлечений и просто выполнение бытовых задач. Но и в других странах сценариев использования постепенно становится все больше.
Honor снова разрешили выпускать смартфоны с обновляемым Android и сервисами Google
Интересно то, что цифра в 500 миллионов скачиваний с момента появления приложения в магазине Google Play уже не кажется запредельной и есть понимание того, что данный показатель и дальше будет расти. И пусть на всех смартфонах с Google Assistant он есть уже изначально, его все равно скачивают.
Подобные технологии начали все больше применяться в других приложениях, но это не должно сделать Goolge Lens менее популярным. Тем более, что многие из таких приложений изначально построены на базе именно этого сервиса — он просто интегрирован в них в качестве функции поиска.
Пользоваться Google Lens просто. Наверное, поэтому его и полюбили.
Это говорит о том, что он будет и дальше развиваться, постоянно тренируя свои алгоритмы искусственного интеллекта. А значит, выдача будет все более правильной и распознание более точным.
Если говорить о том, стоит ли пользоваться подобным сервисом, я бы рекомендовал как минимум попробовать его. А дальше уже сами решите, пользоваться им, как сотни миллионов пользователей во всем мире, пользоваться время от времени, как я, или не пользоваться вообще.