Fazer uma rede neural reconhecer um pedestre já não é o maior mistério. A questão mais difícil vem depois: como provar para uma autoridade que aquela é segura, inclusive diante de situações pouco representadas nos dados usados para treiná-la?

É esse problema que o Safe AI Engineering tenta enfrentar. O projeto alemão, de € 34,5 milhões, reúne montadoras, fornecedores, centros de pesquisa e entidades de validação. Nesta quarta-feira, durante a IAA Transportation, em Hannover, o consórcio apresenta uma metodologia para construir uma argumentação de segurança aplicável a funções automotivas baseadas em .
Uma rede neural é mais difícil de provar
Em software convencional, requisitos e comportamentos podem ser associados de forma relativamente direta ao código. Em aprendizado de máquina, parte do comportamento emerge do treinamento e depende dos dados e da capacidade do modelo de generalizar. Por isso, acumular milhões de quilômetros de testes não basta: uma situação rara de iluminação, oclusão e comportamento humano pode continuar fora da amostra.
A segurança vira uma corda de evidências

O projeto traduz essa dificuldade na chamada Safety Rope: dados, engenharia da , conceitos de segurança, monitoramento e avaliação precisam se combinar, porque nenhuma evidência isolada é suficiente. A metodologia dialoga com ISO 26262, SOTIF e ISO/ 8800, norma dedicada à segurança de sistemas automotivos com .
O caso de estudo é a detecção de pedestres. Os cenários começam simples e evoluem para movimento, cruzamentos, bicicletas, múltiplos pedestres e oclusões. Na primeira demonstração, veículos experimentais receberam monitoramento da , métricas de ameaça, zonas de segurança, redundância e estimativas de probabilidade e gravidade de colisões.
A precisa mostrar quando não sabe
Outro ponto central é medir incerteza. Não basta o sistema produzir uma resposta: é preciso reconhecer quando ela deixou de ser confiável. O projeto trabalha com monitoramento, avaliação de risco e dados sintéticos para ampliar a cobertura de situações raras.
E quando o cérebro do carro muda?
O problema cresce com veículos definidos por software. Uma nova rede neural pode ser treinada fora do carro e depois distribuída à frota. Se o modelo muda, porém, parte da evidência que sustentava sua segurança também pode precisar ser revista.
A pergunta regulatória passa a ser: quanto da prova precisa ser refeita após uma atualização? O desafio da direção autônoma não é apenas construir uma capaz de dirigir, mas demonstrar por que podemos confiar nela, onde essa confiança termina e o que acontece quando o cérebro do carro muda.



