Usar computador

Usar computador (Computer Use) deixa seus agentes lerem e usarem os outros apps do seu computador: olhar uma janela, clicar, digitar, arrastar, desenhar e escolher itens de menu. Tudo acontece em segundo plano, então seu ponteiro não se move, o app não vem para a frente e você continua trabalhando enquanto eles trabalham.

Como ativar

Abra Configurações → Agentes → Controle e ative Deixar agentes usarem outros apps.

No Mac, um pequeno ajudante dentro do Maestri, chamado Maestri Computer Use, precisa das permissões de Acessibilidade e Gravação de Tela. As configurações mostram o que falta e dizem Pronto quando as duas estão permitidas. O ajudante fica com essas permissões, então os terminais do Maestri nunca as recebem.

Pedindo a um agente

Peça com as suas palavras, como "adicione os gastos desta semana ao meu orçamento no Numbers". Um agente em qualquer terminal do Maestri pode fazer isso, sem nada para conectar antes. Para direcionar o agente ao recurso, digite @ no compositor de prompts e escolha Usar computador.

Se o terminal do agente estiver em outra máquina, como via SSH, os apps que ele usa continuam sendo os do computador que está rodando o Maestri.

Permitindo apps

Na primeira vez que um agente precisa de um app, um cartão pergunta a você, com o nome do agente e do app:

• Permitir: até você revogar ou sair do Maestri.
• Permitir por 1 Hora: sessenta minutos a partir da sua resposta, não importa quanto o agente faça nesse tempo.
• Não Permitir: o agente não pede aquele app de novo enquanto o processo do terminal dele estiver rodando.

A resposta vale para aquele agente e aquele app, então outro agente pede por conta própria. No Mac, você também pode responder pelo Maestri Remote, que avisa você quando está ausente.

O próprio Maestri fica de fora, então um agente nunca consegue responder ao próprio pedido.

Acompanhando e parando

Cada agente tem o próprio cursor sobre a janela que está usando, com o nome do terminal dele. Vários agentes podem trabalhar ao mesmo tempo, e os comandos deles para o mesmo app esperam a vez.

Enquanto um agente trabalha, o Maestri mostra um item na barra de menus com cada agente e o app que ele está usando. Parar interrompe um agente e Parar Tudo interrompe todos, e um agente interrompido precisa pedir de novo antes de usar qualquer app. Parar também fica em Configurações → Agentes → Controle, caso você tenha escondido o item da barra de menus.

Agentes com permissão para usar apps, no mesmo lugar, lista o que você permitiu, e quanto falta para uma permissão de uma hora acabar. Revogar desfaz uma permissão.

Modo de controle

Algumas coisas não dá para alcançar em segundo plano: o Dock, os itens de status da barra de menus, o Spotlight, as caixas de diálogo do sistema e páginas web que acompanham o botão do mouse por conta própria. Para elas, um agente pode pedir para controlar o computador inteiro com o seu ponteiro e o seu teclado de verdade. É feito para quando você está ausente, e tem um pedido só dele.

Você continua no comando enquanto ele roda:

• Mexa o mouse ou digite para pausar. O agente só retoma depois que você deixa o computador em paz.
• Escolha Parar na barra de menus, ou aperte Esc três vezes, para encerrar.

Só um agente tem o controle por vez. O controle também termina depois de alguns minutos sem nenhum comando, ou quando acaba a hora que você permitiu. Um Mac bloqueado continua bloqueado, e o agente nunca digita na tela de bloqueio.

Ignorar permissões

Com Ignorar permissões marcado em Configurações → Agentes → Controle, os agentes podem usar qualquer app e controlar o computador sem pedir antes. Você continua vendo os cursores, e Parar continua na barra de menus. Um agente que você interrompeu ainda precisa pedir.

No Windows e no Linux

"Usar computador" também está no Maestri para Windows e Linux, na mesma configuração e com os mesmos pedidos. O que um agente consegue fazer em segundo plano depende do sistema.

Windows

• Os agentes trabalham por trás da sua janela com o seu teclado livre para você, vários ao mesmo tempo, cada um com um cursor mostrando o nome dele.
• Por trás de outras janelas, eles usam um navegador, lendo páginas, clicando e preenchendo formulários, e selecionam, excluem, copiam e colam no Explorador de Arquivos.
• Canvases e jogos, como o Paint, precisam do modo de controle.
• Agentes em terminais WSL e SSH usam os apps da máquina que está rodando o Maestri.

Linux

• No Xorg, os agentes trabalham por trás das suas outras janelas, cada um com um cursor mostrando o nome dele, e preenchem formulários de navegador no Firefox e no Chromium.
• No Wayland, o padrão do Ubuntu, os agentes leem janelas e clicam por trás no Firefox e no Chromium. Formulários de navegador e a rolagem de páginas no Firefox precisam do modo de controle, os agentes não têm cursor, e Parar fica na barra superior.
• Clique duplo, clique com o botão direito, arrastar e desenhar precisam do modo de controle.
• Agentes em terminais SSH usam os apps da máquina que está rodando o Maestri.

O comando computer

Os agentes aprendem o comando maestri computer em uma skill que o Maestri instala, então você não precisa digitá-lo. Uma execução típica lê uma janela e age sobre o que encontrou:

maestri computer apps
maestri computer snapshot --app Music
maestri computer click --app Music @e3
maestri computer fill --app Mail @e2 "Números do trimestre"
maestri computer menu --app Preview "File > Export…"
maestri computer screenshot --app Blender

Para o modo de controle:

maestri computer control
maestri computer click 640,400
maestri computer release

Rode maestri computer sem argumentos para ver a lista completa.