(Источник: Microsoft/PCMag)
Больше никаких задержек. Google придерживается своего плана по поэтапному отказу от сторонних файлов cookie в браузере Chrome с 2024 года.
Copilot Vision выводит концепцию генеративного ИИ в новом направлении: вместо создания текста или изображений на основе подсказок, он может понимать и реагировать на визуальный ввод и предоставлять контекст и объяснения. Copilot Vision в настоящее время находится в ограниченной предварительной версии в веб-браузере Edge, который работает на Android, iOS, macOS и Windows.
Мне удалось попробовать Copilot Vision из первых рук, и это не похоже ни на что из того, что вы когда-либо видели в веб-браузере. Функция Google Lens в Chrome имеет небольшое сходство, позволяя вам выделять объекты на странице и получать результаты поиска на боковой панели, но она не является диалоговой. Copilot Vision, напротив, является настоящим компаньоном в браузере. Он воспринимает все визуальное и текстовое на странице и устно общается с вами об этом. Я здесь, чтобы показать вам, как получить его и как он работает.
На данный момент Copilot Vision работает только для избранных подписчиков Copilot Pro (20 долларов в месяц) и полностью доступна по желанию. Microsoft не заявила, будет ли эта функция доступна для бесплатных пользователей. При первом использовании вам необходимо пройти простой процесс запуска. Поскольку функция основана на речи (хотя она называется Vision), вам необходимо включить для нее микрофон. Как только вы нажмете кнопку Copilot Vision на последней странице процесса настройки, вас поприветствует реалистичная речь искусственного интеллекта Copilot Voice. Щелкнув значок шестеренки настроек, вы сможете выбрать одну из четырех голосовых личностей: Canyon, Grove, Meadow или Wave. Я остановился на Canyon по умолчанию.
Copilot Vision может описывать и давать вам информацию о том, что вы видите на сайте, а также просто разговаривать о чем угодно. Интерфейс Copilot Vision полностью отличается от боковой панели Copilot браузера Edge, которая представляет собой стандартный интерфейс чат-бота в стиле ChatGPT. Vision отображается в виде полосы внизу веб-страницы и сворачивается в крошечную полосу индикатора в нижней центральной части экрана, когда не используется.
Когда я впервые нажал на значок демонстрации экрана Copilot Vision, края окна браузера слегка подсветились, что более заметно в светлом режиме, чем в темном. Значок микрофона также стал красным, показывая, что он активен. Дружелюбный голос Canyon сказал: «Привет, Майкл, как дела сегодня? О чем ты думаешь? Или мне удивить тебя чем-то забавным?».
На главной странице Copilot Vision отображаются примеры вопросов. Например, он показал веб-страницу с четырьмя симпатичными собаками и предложил мне попросить его «рассказать мне больше об этих породах». Следующим предложением было «Кратко опишите эти статьи», что показало, что инструмент работает как с изображениями, так и с текстом на веб-страницах. Затем он продемонстрировал, что знает географию, показав четыре городских пейзажа и спросив: «В каком из этих городов самые старые здания?» Наконец, он сказал: «Теперь ваша очередь» и предложил несколько сайтов, таких как Amazon, Target, Tripadvisor и Wikipedia, чтобы начать.
Одним из сайтов, предложенных Copilot, был GeoGuessr, у которого есть свой собственный чемпионат мира. Я сказал ему, что меня не интересует чемпионат мира по футболу, и он заверил меня, что это не имеет отношения к делу.
Когда я на некоторое время перестал с ним разговаривать, я получил сообщение: «Извините, задремал на секунду! Попробуйте переподключиться». Это на самом деле хорошо, так как вы не хотите, чтобы он продолжал слушать, если вы случайно оставите его включенным. Когда я спросил, могу ли я напрямую предоставить Copilot Vision обратную связь с помощью голоса, я был впечатлен его ответом: «Ваша обратная связь будет передана моим разработчикам». Если вы прерываете Copilot Vision, его голос вежливо отходит в сторону.
Я спросил Copilot Vision, будет ли он смотреть, если я зайду на порнографический сайт, и получил вдумчивый ответ: «В целях безопасности и конфиденциальности я не храню и не передаю личную информацию». В документации Microsoft указано, что Copilot Vision не использует входные данные для обучения ИИ. Другими словами, он не видит конфиденциальную или защищенную законом информацию, включая учетные данные банковских счетов или пароли. Он также не просматривает частные веб-сайты, то есть любой контент за логинами или платными экранами. Когда я перешел на веб-сайт онлайн-банка Ally, Copilot Vision перестал работать. Я получил сообщение ниже, в котором предлагалось переподключиться. Однако он не переподключался, пока я не оказался на общедоступном веб-сайте.
Copilot Vision видит только вкладку браузера, на которой вы его запускаете. Он также не может открыть новую веб-страницу. Это хорошо, поскольку вы не хотите, чтобы ИИ предпринимал действия самостоятельно, если что-то пойдет не так. Инструмент также не может определить положение вашего курсора, что на самом деле может быть недостатком для игровых советов.
