1. Типы задаий и уровни нейросетей
Для каких именно типов заданий подходит экранный ИИ ассистент chimate.ai? И какие уровни моделей лучше выбрирать для различных типов заданий.
На самом деле внутренняя механика работы ИИ ассистента позволяет ему обрабатывать широкий спектр заданий. Сервис анализирует скриншот целиком: не только распознает текстовую информацию, но и картинки, которые относятся к заданию.
1.1 Простые запросы (Simple)
Практика показала, что например задания по математике, русскому, английскому и другим языкам, тесты компетенций, гигтест, квесты, задачи на логику, фармакология, домашние задания, лайвкодинг сервис хорошо решает уже на самом простом Simple уровне нейросети. В этом режиме используется довольно мощная нейросеть с максимальным уровнем размышлений, но не используется веб поиск. Поэтому для данного уровня заявлено 70% правильных ответов, что довольно условно, потому что на реальных тестах получается более 80%, но это сильно зависит от типа задачи.
1.2 Средние запросы (Advanced)
Задания, требующие более сложного анализа, такие как: ПДД, история, медицина, литература, сложный лайвкодинг, право, специализированные задания, за данными для решения которых нужно "сходить" в интернет, ответстветнные задачи при подготовке к экзаменам - для этого хорошо подходит уровень нейросети Advanced. Есть и довольно неожиданные сценарии успешного использования: прохождение квестов в онлайн-играх.
1.3 Сложные запросы (Top)
Для самых сложных и ответственных заданий подходит уровень нейросети Top. Так же этот уровень рекомендован если заданий сразу несколько в одном запросе. На этом уровне используется самая мощная нейросеть с максимальным уровнем размышлений и объемным веб поиском. Этот уровень на нашем внутреннем тестировании успешно решает 95% заданий. Впрочем, использовать ее не всегда рационально: обработка может занять до 60 секунд.
2. Ограничения
2.1 Ответ связан с не публичной информацией
Тут нужно оговориться, что если однозначного ответа нет в интернете и логически его невозможно рассчитать, то тут никакая нейросеть не поможет. А такие задания бывают. Когда вопрос "завязан" на внутреннюю документацию какого то специфического оборудования, которой нет в открытом доступе, например. Тут ИИ помощнику остается только улыбаться и махать лапкой: он конечно выдаст какой то вероятный ответ, но полагаться на него увы не получится.
Так же среди неожиданных запросов от пользователей, которые пока что не решены успешно в полной мере (впрочем дойдем и до этого): подсказать как продолжить романтическую переписку в тиндере, подсказать как сыграть в карточной онлайн игре.
2.2 Скрытие окон ассистента от шаринга экрана
ИИ помощник имеет 2 окна: основное окно и оверлей. Они оба скрыты от шаринга экрана, но в разной степени. Оверлей максимально оптимизирован именно для работы поверх другой программы: окна браузера, например. Он не уводит на себя фокус мыши при кликах, это очень важно при прохождении заданий на некоторых сайтах, которые пытаются следить за действиями пользователя. Кроме того оверлей имеет прозрачность, имеет специальный режим "тихой" активации кнопок без кликов - все это повышает удобство работы именно поверх другого приложения.
Основное окно программы работает по другой технологии и имеет ограниченную защиту от шаринга: в некоторых случаях на захвате может отображаться в виде черного прямоугольника, это нужно иметь ввиду и тестировать приложение заранее для конкретного сценария использования.
Режим CDP + Веб сессия в этом плане позволяет работать с ИИ ассистентом даже тогда, когда на ПК приложение свернуто в трей: на экране ничего не мешает, а управление и получение ответов происходит на телефоне или другом ПК, подробнее это описано тут.