Os agentes de inteligência artificial já são capazes de fazer muito mais do que responder a uma pergunta. Podem navegar na Internet, utilizar ferramentas, executar código ou interagir com ficheiros e serviços praticamente sem intervenção humana.
Quanto mais autonomia recebem, maior é também a necessidade de garantir que não fazem algo que não estava previsto. Foi precisamente para responder a esse problema que a NVIDIA apresentou a Open Agent Safety Platform, uma nova plataforma destinada a manter agentes de IA dentro dos limites definidos por quem os utiliza.
NVIDIA quer criar uma barreira fora da própria IA
Uma das peças fundamentais desta plataforma chama-se OpenShell. Trata-se de software open source que cria um ambiente controlado para o agente executar as suas tarefas.
Na prática, uma empresa pode determinar previamente a que ficheiros, redes, ferramentas, processos ou credenciais o agente pode aceder. Essas regras são aplicadas enquanto a IA está a trabalhar.
A NVIDIA explica em detalhe como funciona esta arquitetura de segurança para agentes de IA, que procura separar o ambiente onde o agente trabalha dos mecanismos responsáveis por aplicar as regras de segurança.
Isto é importante porque não depende apenas de uma instrução dada ao próprio modelo. Em vez de simplesmente dizer à IA que não pode aceder a determinado sistema, existe uma camada exterior que procura impedir tecnicamente esse acesso.
Os riscos deste tipo de tecnologia já não são apenas teóricos. Num caso recente, um modelo de IA da Meta explorou uma vulnerabilidade num serviço externo depois de receber acesso à Internet devido a uma configuração incorreta.
O incidente não significa que uma IA tenha decidido “escapar” por iniciativa própria. Mostra, no entanto, aquilo que pode acontecer quando um agente recebe permissões superiores às necessárias para cumprir uma tarefa.
Há ainda um segundo sistema a vigiar o agente
É aqui que entra o NVIDIA Sentry. Este sistema funciona numa camada separada, através dos processadores BlueField-4 DPU, e monitoriza continuamente aquilo que o agente está a fazer.
Segundo a NVIDIA, se um agente tentar sair dos limites definidos, o Sentry consegue colocá-lo em quarentena e pará-lo em milissegundos.
É este mecanismo que pode ser comparado a uma espécie de “botão de emergência”. A diferença é que não é necessário alguém estar constantemente a observar o agente e carregar num botão. O sistema foi pensado para detetar ações que ultrapassem as regras estabelecidas e aplicar as respetivas restrições.
A NVIDIA explica ainda que esta proteção funciona separadamente do ambiente onde o agente executa as suas tarefas. O objetivo é dificultar que as próprias ações do agente, ou um ataque ao sistema principal, consigam contornar as proteções.
Mais de 100 organizações já estão envolvidas
Segundo a NVIDIA, mais de 100 organizações estão envolvidas no ecossistema da Open Agent Safety Platform.
A lista inclui nomes como Microsoft, Anthropic, Cisco, CrowdStrike, IBM, SAP, Salesforce, Hugging Face e Palo Alto Networks. Como várias destas plataformas são também utilizadas por empresas em Portugal, este tipo de proteção pode tornar-se relevante à medida que os agentes de IA começam a assumir tarefas mais autónomas no dia a dia empresarial.
Esse caminho já está a acontecer. A Microsoft, por exemplo, apresentou o Copilot Cowork, um agente capaz de executar tarefas completas no Microsoft 365, recorrendo a informação de aplicações como Outlook, Teams e Excel.
A Anthropic está, por exemplo, a trabalhar com a NVIDIA na aplicação destas camadas de proteção a agentes empresariais Claude. Já a Salesforce integrou o OpenShell com o Slack para permitir acompanhar a atividade dos agentes e gerir pedidos de permissões adicionais.
A Open Agent Safety Platform e o OpenShell já estão disponíveis para programadores, enquanto o Sentry está associado à arquitetura de segurança baseada no hardware BlueField-4 da NVIDIA.
À medida que os agentes de IA passam de simples assistentes para sistemas capazes de executar tarefas durante períodos prolongados, a questão deixa de ser apenas aquilo que conseguem fazer. Passa também por garantir que existe uma forma de os impedir de fazer aquilo que não deveriam.