Um experimento em Inteligência Artificial (IA) realizado há alguns anos nos Estados Unidos treinou um modelo para diferenciar lobos de cães da raça husky siberiano a partir de imagens. O sistema parecia altamente preciso. Só havia um detalhe: ao abrir a “caixa-preta”, os pesquisadores descobriram que o algoritmo não estava reconhecendo os animais, mas a neve ao fundo das fotos, que aparecia com mais frequência nas imagens dos lobos. Funcionava bem na amostra de teste, mas estava “aprendendo a coisa errada”.

No mundo real, esse tipo de distorção não fica restrito a curiosidades acadêmicas. Imagine o mesmo problema em decisões como a seleção de candidatos em processos seletivos, a definição de prêmios de seguros, a concessão de crédito, o bloqueio de motoristas e entregadores por plataformas ou o banimento de criadores de conteúdo. 

É nesse contexto que a Lei Geral de Proteção de Dados (LGPD) garante aos titulares o direito a informações claras e adequadas sobre decisões automatizadas, inclusive com as possibilidades de revisão e, em último caso, auditoria pela Agência Nacional de Proteção de Dados (ANPD) quando as explicações não são fornecidas. Transparência não é gentileza, mas obrigação legal e pilar de confiança.

Ao mesmo tempo, existe um ativo empresarial que não pode ser ignorado — o segredo de negócio. Fórmulas, modelos estatísticos, arquiteturas de IA, bases e métodos de correlação são resultados de investimentos pesados em Pesquisa e Desenvolvimento (P&D). Entregar código-fonte ou expor integralmente o modelo pode destruir a vantagem competitiva e desincentivar a inovação dos negócios. A própria jurisprudência brasileira, ao tratar de modelos de score de crédito, já reconheceu que as fórmulas de cálculo e os detalhes técnicos integram o núcleo protegido da atividade empresarial.

O ponto de equilíbrio para as empresas está em entender que transparência não significa abrir o algoritmo, mas explicar a lógica da decisão. Para tanto, isso inclui indicar quais categorias de dados pessoais foram usadas e os fatores que pesaram mais no resultado (por exemplo, histórico de crédito, padrão de uso de serviço e comportamento de direção), além de como, em linhas gerais, a decisão é tomada (“quanto menor o score, maior a chance de recusa”) e quais são as principais consequências para o titular. As seguradoras que simulam perfis fictícios e mostram como hábitos de direção impactam o valor do prêmio são um bom exemplo de transparência que não viola segredo comercial.

O cenário regulatório europeu aponta na mesma direção ao adotar uma abordagem baseada em risco, agora consolidada no EU AI Act (regulação da União Europeia sobre a IA). Sistemas de baixo risco, como chatbots de atendimento, exigem transparência mais simples — por exemplo, ao informar que o usuário está interagindo com uma IA. Já sistemas de alto risco, como aqueles usados em emprego, crédito e infraestruturas críticas, exigem nível de explicabilidade maior. 

Em decisões relevantes, tribunais europeus têm reforçado que as empresas devem justificar concretamente o que é segredo comercial e que cabe à autoridade avaliar se essa proteção é legítima, e não à empresa decidir sozinha o que pode ser ocultado. Na prática empresarial, isso se traduz em algumas diretrizes de governança algorítmica. Primeiro, mapear onde há decisões automatizadas no negócio e qual o risco associado para as pessoas afetadas. 

A explicabilidade deve ser proporcional ao impacto: quanto maior o risco para a vida, o trabalho, a renda ou a reputação do indivíduo, maior a obrigação de explicar. Paralelamente, é essencial pensar a comunicação em camadas — uma explicação simples e acessível para qualquer titular de dados; informações adicionais (mais técnicas) para órgãos de controle e reguladores; e, quando necessário, detalhes mais aprofundados sob compromissos de confidencialidade, protegendo o segredo de negócio.

Ao mesmo tempo, é imperativo desenvolver modelos de explicação que “traduzam” o raciocínio da IA sem abrir o código-fonte: identificar quais dados influenciaram mais a decisão, mostrar como a variação desses dados altera o resultado, apontar possíveis fontes de erro ou viés e oferecer caminhos concretos para contestação ou melhoria (por exemplo, como o consumidor pode ajustar seu comportamento ou atualizar suas informações). 

Isso gera valor em várias frentes, ajudando a detectar e corrigir vieses ilícitos, bem como apoia desenvolvedores na melhoria contínua dos modelos, ampliando a segurança dos decisores humanos que utilizam a IA como apoio e reduzindo risco regulatório.

A mensagem-chave é objetiva. Empresas digitais competitivas serão aquelas que conseguirem combinar, de forma responsável, três elementos: proteção do segredo de negócio, transparência significativa sobre critérios de decisão e mecanismos efetivos de revisão e contestação. 

Não se trata de escolher entre inovação e proteção de direitos, mas de desenhar processos e documentos que tornem a IA explicável na medida certa — nem opaca a ponto de gerar desconfiança e litígios, nem tão exposta a ponto de destruir o diferencial competitivo da empresa. Quem conseguir estruturar essa governança algorítmica desde já estará em posição privilegiada na nova economia dos dados e dos algoritmos.

ESTE ARTIGO FAZ PARTE DO LIVRO “O MUNDO DO TRABALHO NA ERA DOS ALGORITMOS”, UMA COLETÂNEA DO CONSELHO DE EMPREGO E RELAÇÕES DO TRABALHO DA Federação do Comércio de Bens, Serviços e Turismo do Estado de São Paulo (FecomercioSP).

CLIQUE AQUI PARA DOWNLOAD DA ÍNTEGRA DA PUBLICAÇÃO.