ИИ может превратить ваш телефон в управляемый голосом девайс

Помните амбициозную идею времени Pixel 4 о Google Assistant, который бы беспрепятственно управлял вашим телефоном и работал в режиме многозадачности в разных приложениях? Тогда это казалось футуристическим, но сейчас концепция ИИ-агентов, которые выполняют физические действия на вашем устройстве, вновь набирает обороты.

Представьте себе: вы говорите: «Сделай селфи, поделись им с Серёгой», и ваш телефон делает именно это, не прикасаясь к экрану. Или вы просматриваете меню, говорите: «Найди рецепт брауни с орехами», и бац — он уже у вас на экране. Таковы перспективы ИИ-агентов, и такие компании, как OpenAI и Rabbit, активно работают в этом направлении.

Google Ассистент образца 2019 года чувствовал себя ограниченным, требуя конкретных фраз и не обладая настоящей «адаптацией». Но с развитием больших языковых моделей (LLM) ситуация меняется. Исследования показывают, что LLM могут понимать мобильный интерфейс, отвечать на вопросы на его основе и даже управлять им с помощью инструкций на естественном языке.

Google уже заложила основу в Assistant, а использование LLM может сделать его настоящим мощным помощником в управлении телефоном. Вопрос в том, воспользуются ли компания этой возможностью в этот раз?