Google anunció en las notas de actualización del 30 de octubre que Computer Use pasó a disponibilidad general en Gemini API. La herramienta está disponible a través de las interfaces Interactions y GenerateContent.
La función permite desarrollar agentes que observan capturas de pantalla y generan acciones como hacer clic, escribir o desplazarse. Dicho sencillo: el sistema puede recibir una tarea y proponer los pasos para realizarla en una interfaz.
Lee también: Reino Unido abre una investigación sobre las condiciones comerciales de Meta.
Según la documentación de Google, los desarrolladores pueden crear agentes para navegadores, móviles y escritorios. Entre los usos descritos están llenar formularios, introducir datos repetitivos y probar recorridos dentro de una aplicación web.
El funcionamiento necesita una aplicación que conecte el modelo con el entorno. Esa aplicación envía la captura de pantalla, recibe la acción propuesta, la ejecuta y devuelve una nueva imagen para continuar la tarea.
Google también documenta controles de seguridad, solicitudes de confirmación y detección opcional de instrucciones maliciosas en capturas. La compañía recomienda supervisión cercana en tareas importantes y advierte que la herramienta puede cometer errores.
Fuentes: Notas de actualización de Gemini API y documentación de Computer Use.
Imagen de portada: Google, imagen institucional oficial de Gemini API.
[…] Lee también: Google lleva Computer Use de Gemini API a disponibilidad general. […]