Vision for Copilot Preview" улучшает чат с помощью визуальных возможностей

Видение для Copilot Preview: улучшение чата с помощью визуальных возможностей

Vision for Copilot Preview представляет собой расширение, которое значительно улучшает взаимодействие в чате, добавляя возможность работы с изображениями. Пользователи теперь могут прикреплять изображения в качестве контекстного ввода, что обогащает беседы и делает ответы более динамичными и наглядными. Эта функция позволяет просто вставлять изображения из буфера обмена или перетаскивать их прямо в панель чата. Кроме того, расширение предлагает возможность генерировать и улучшать альтернативный текст для изображений в различных форматах, таких как markdown, HTML, JSX и TSX, что упрощает добавление описаний для лучшего контекста и доступности.

Настройки пользователя включают выбор провайдера и модели, что позволяет настраивать работу с чат-ботом в соответствии с личными предпочтениями. Однако для работы с некоторыми провайдерами пользователям может потребоваться наличие кредитов на счетах в соответствующих сервисах. Кроме того, расширение помогает выявлять и диагностировать проблемы в рабочей среде, что полезно как для новичков, так и для пользователей с экранными считывателями.

Описание

Vision for Copilot Preview представляет собой инновационное расширение, существенно расширяющее возможности общения в чате. С помощью этой функции пользователи могут прикреплять изображения в качестве контекстного ввода, что обогащает текстовые беседы и делает взаимодействие более интерактивным и визуально привлекательным. Это позволяет пользователям лучше передавать свои мысли и идеи, добавляя изображения, которые могут служить дополнительной информацией или иллюстрацией. Основная задача данной функции заключается в улучшении пользовательского опыта и увеличении динамичности общения. В будущем данное расширение планируется заменить встроенной функциональностью работы с изображениями в Github Copilot Chat, что обеспечит еще более широкие возможности для создания контента.

Чат

Пользователи имеют возможность испытать функцию прикрепления изображений в панели чата с Vision for Copilot Preview. Это нововведение упрощает взаимодействие, позволяя добавлять изображения как контекстный ввод. Для начала работы достаточно использовать ключи OpenAI, Azure OpenAI, Anthropic или Gemini. Прикрепить изображение можно несколькими способами: просто скопировав его в буфер обмена и выбрав опцию "Прикрепить контекст", или перетащив изображение прямо в область чата. Также доступна возможность выбора изображений из рабочего пространства или снятых скриншотов. Эти функции делают общение более динамичным и визуально насыщенным, что способствует более эффективному обмену информацией между пользователями.

Быстрые исправления

Пользователи Vision for Copilot Preview теперь могут легко генерировать и уточнять альтернативный текст (alt text) для изображений, что значительно упрощает процесс добавления описательного текста в различные форматы документов, такие как markdown, HTML, JSX и TSX. Это особенно важно для повышения доступности контента, так как alt text обеспечивает понимание содержания изображений для людей с ограничениями по зрению. Доступные действия с кодом позволяют создавать описания как для изображений, находящихся в рабочем пространстве, так и для изображений, доступных по URL-адресу. Такой функционал не только улучшает контекстуальное восприятие, но и способствует более качественному взаимодействию пользователей с визуальным контентом, делая его более доступным для широкой аудитории.

Команды

Команды в приложении Vision for Copilot Preview обеспечивают пользователям инструменты для настройки и управления использованием визуальных возможностей в чатах. С их помощью можно указать провайдера и модель, а также установить или удалить API-ключ текущей модели. Эти команды позволяют легко настраивать и адаптировать функциональность под индивидуальные потребности пользователя.

Кроме того, команда Troubleshoot предоставляет возможность делать скриншоты окна Visual Studio Code и отправлять их в чат для диагностики проблем, что особенно полезно для начинающих пользователей и людей, использующих специальные программы, такие как экранные ридеры. Эта функциональность делает взаимодействие более доступным и поддерживает пользователей в решении технических вопросов, обеспечивая при этом простоту управления настройками и согласованность работы с изображениями в рамках чата.

Настройки

Настройки представляют собой важный элемент управления функционалом Vision for Copilot Preview. Пользователи могут настроить параметры, такие как провайдер и модель, что позволяет адаптировать инструмент под свои требования. В текущий момент доступны три провайдера — OpenAI, Anthropic и Gemini. Для каждого из них пользователи обязаны указать действительный API-ключ, иначе взаимодействие с системой может оказаться невозможным.

Дополнительно, в настройках есть возможность управлять текущими API-ключами: пользователи могут добавлять или удалять ключи провайдеров, что обеспечивает простоту и гибкость в работе. Также имеется функция устранения неполадок, которая позволяет делать скриншоты рабочего окна VS Code и отправлять их в чат для диагностики. Это особенно полезно для пользователей, использующих экранные считыватели или новичков, которые могут столкнуться с трудностями в процессе работы. Таким образом, настройки предоставляют необходимый функционал для упрощения и улучшения работы с изображениями и контекстом в чате.

Примечания

Пользователи, которые хотят воспользоваться возможностями Vision for Copilot Preview, должны учитывать, что для каждого из поддерживаемых провайдеров (OpenAI, Anthropic, Gemini) может потребоваться наличие средств на учетной записи. В противном случае предоставленный API-ключ окажется недействительным, что помешает доступу к функциям. Особенно важно отметить, что пользователи, не входящие в состав команды VS Code, не смогут использовать Azure OpenAI. Это связано с тем, что в текущей реализации проект не использует общий конечный пункт Azure OpenAI, что ограничивает доступность этой функции. Поэтому перед началом использования Vision for Copilot Preview рекомендуется удостовериться в наличии действительного API-ключа и достаточного баланса на соответствующих аккаунтах, чтобы избежать неудобств и обеспечить плавное взаимодействие с приложением.

Как прикрепить изображения к панели чата?

Прикрепить изображения к панели чата очень просто и интуитивно. Существует несколько способов, позволяющих сделать это с максимальным удобством. Во-первых, вы можете скопировать изображение из буфера обмена и вставить его в чат. Для этого достаточно выбрать кнопку "Прикрепить контекст" и затем выбрать "Изображение из буфера обмена" в выпадающем меню.

Если вы предпочитаете работать с файлами на своем устройстве, то просто нажмите ту же кнопку "Прикрепить контекст" и выберите изображение из рабочего пространства или сделайте скриншот. Кроме того, вы можете перетаскивать изображения напрямую из файловой системы в панель чата, что также значительно упрощает процесс.

Для пользователей, которые используют экранные считыватели или только начинают осваивать данную функциональность, доступна команда для устранения неполадок. Она позволяет сделать снимок экрана окна VS Code и отправить его в чат, что поможет вам быстрее диагностировать любые проблемы. Все эти функции делают взаимодействие в чате более динамичным и наглядным, позволяя улучшить качество общения и повысить доступность контента.

Товарные знаки

Данный проект может содержать товарные знаки и логотипы, относящиеся к различным проектам, продуктам и услугам. Все пользователи, использующие товарные знаки или логотипы Microsoft, обязаны соблюдать Руководство по товарным знакам и бренду Microsoft. Важно понимать, что любое использование товарных знаков и логотипов в изменённых версиях данного проекта должно исключать возможность путаницы и не должно подразумевать спонсорство со стороны Microsoft. Кроме того, использование товарных знаков третьих сторон должно соответствовать политике этих субъектов, что подчеркивает значимость соблюдения авторских прав и соблюдения правил, установленных владельцами этих торговых марок. При использовании любых логотипов или товарных знаков, следует всегда учитывать условия, касающиеся их использования, чтобы избежать правовых последствий и не нарушить интеллектуальную собственность.