Pular para o conteúdo
Horizontes.

há 9 h

Quem homologa o cérebro do carro? Alemanha tenta criar a prova de segurança da IA

Projeto de € 34,5 milhões tenta transformar redes neurais em sistemas cuja segurança possa ser demonstrada, auditada e reavaliada quando o software muda.

Palestrante em palco diante do público durante conferência da IAA Transportation
Foto: Divulgação

Atualizado emPublicado em

Fazer uma rede neural reconhecer um pedestre já não é o maior mistério. A questão mais difícil vem depois: como provar para uma autoridade que aquela é segura, inclusive diante de situações pouco representadas nos dados usados para treiná-la?

Palestrante em palco diante do público durante conferência da IAA Transportation
Foto: Divulgação · Divulgação
Conferência da IAA Transportation, em Hannover. Imagem institucional da feira; a foto não registra especificamente a apresentação do Safe AI Engineering

É esse problema que o Safe AI Engineering tenta enfrentar. O projeto alemão, de € 34,5 milhões, reúne montadoras, fornecedores, centros de pesquisa e entidades de validação. Nesta quarta-feira, durante a IAA Transportation, em Hannover, o consórcio apresenta uma metodologia para construir uma argumentação de segurança aplicável a funções automotivas baseadas em .

Uma rede neural é mais difícil de provar

Em software convencional, requisitos e comportamentos podem ser associados de forma relativamente direta ao código. Em aprendizado de máquina, parte do comportamento emerge do treinamento e depende dos dados e da capacidade do modelo de generalizar. Por isso, acumular milhões de quilômetros de testes não basta: uma situação rara de iluminação, oclusão e comportamento humano pode continuar fora da amostra.

A segurança vira uma corda de evidências

Diagrama Safety Rope mostrando diferentes elementos de engenharia e segurança entrelaçados em uma argumentação
Foto: Divulgação · Divulgação
O conceito Safety Rope combina diferentes evidências para sustentar uma argumentação de segurança da IA. Fonte: Safe AI Engineering

O projeto traduz essa dificuldade na chamada Safety Rope: dados, engenharia da , conceitos de segurança, monitoramento e avaliação precisam se combinar, porque nenhuma evidência isolada é suficiente. A metodologia dialoga com ISO 26262, SOTIF e ISO/ 8800, norma dedicada à segurança de sistemas automotivos com .

O caso de estudo é a detecção de pedestres. Os cenários começam simples e evoluem para movimento, cruzamentos, bicicletas, múltiplos pedestres e oclusões. Na primeira demonstração, veículos experimentais receberam monitoramento da , métricas de ameaça, zonas de segurança, redundância e estimativas de probabilidade e gravidade de colisões.

A precisa mostrar quando não sabe

Outro ponto central é medir incerteza. Não basta o sistema produzir uma resposta: é preciso reconhecer quando ela deixou de ser confiável. O projeto trabalha com monitoramento, avaliação de risco e dados sintéticos para ampliar a cobertura de situações raras.

E quando o cérebro do carro muda?

O problema cresce com veículos definidos por software. Uma nova rede neural pode ser treinada fora do carro e depois distribuída à frota. Se o modelo muda, porém, parte da evidência que sustentava sua segurança também pode precisar ser revista.

A pergunta regulatória passa a ser: quanto da prova precisa ser refeita após uma atualização? O desafio da direção autônoma não é apenas construir uma capaz de dirigir, mas demonstrar por que podemos confiar nela, onde essa confiança termina e o que acontece quando o cérebro do carro muda.

O contexto continua

Contribuições dos leitores

O que você acrescentaria a esta notícia? Seu ponto de vista amplia o contexto.

Carregando a conversa…

6 fontes consultadas · 6 origens independentesVer fontesOcultar fontes

Mãos na direção

Notícias da redação Self Drive Brasil

Nesta matéria