Sobre o uso de evidências na gestão pública

No início de setembro participei com colegas pesquisadores de uma mesa no 16º encontro do Fórum Brasileiro de Segurança Pública, a respeito de “políticas públicas baseadas em evidências”. Trata-se de um movimento que começou nos anos 60, mas que apenas há alguns anos vem se disseminando no Brasil, onde as políticas públicas geralmente estão baseadas nos costumes, ideologia ou evidências pouco robustas. 

Em alguns países gestores públicos podem ser punidos se implementarem políticas públicas sem terem pesquisado antes quais as evidências sobre o funcionamento destas políticas, quando existentes. A responsabilização do gestor pela incúria com o dinheiro público é uma forma de incentivar esta busca pelas boas práticas, que as vezes existem e são simplesmente ignoradas. E na esfera da segurança, como na saúde, o problema não é apenas do mau uso do dinheiro público, mas da aplicação de uma política que pode ser desastrosa e custar vidas e patrimônio alheio. As áreas da saúde, educação e economia, para citar algumas, estão mais avançadas que a segurança pública neste quesito. Enquanto a saúde conta com o Datasus e a Fiocruz, a educação como o INEP e suas inúmeras avaliações e a economia com institutos como o Ipea, na segurança o debate ainda é dominado pelas discussões jurídicas, doutrinárias, muito mais do que em base empírica. 

Quando falamos em “evidências” estamos falando muito mais do que em base empírica, método indutivo e correlações bivariadas. Evidencias pouco robustas podem ser enganosas, uma vez que o acaso e variáveis omitidas, vieses de seleção e comparações mal feitas podem levar a resultados equivocados. O site Spurial Correlations está cheio de exemplos curiosos sobre correlação espúrias altamente significantes do ponto de vista estatístico, como a famosa correlação entre número de filmes protagonizados por Nicolas Cage e número de pessoas que morrem por afogamento nos EUA...Falamos aqui em evidências científicas, o que implica em adotar metodologias robustas, formulação de hipóteses, designs analíticos, amostras não enviesadas e diversos procedimentos que permitam com alguma segurança dizer que uma política funciona, é apenas promissora ou não funciona. 

A Universidade de Maryland popularizou nos anos 90 uma escala de robustez dos estudos, de 5 níveis, que vão dos estudos correlacionais mais simples aos experimentos controlados randomizados, padrão ouro da pesquisa nas ciências naturais. A rigor, apenas do nível 3 para cima podemos falar em estudos quase experimentais e fazer recomendações de políticas que sejam razoavelmente seguras. O problema no Brasil é que não apenas temos pouca pesquisa empírica sobre segurança pública como a imensa maioria dos estudos não chega sequer ao nível 3, quase experimental, de pesquisa. Como demostrou Kopttique numa revisão sistemática dos estudos sobre homicídios, dos cerca de 13 mil estudos localizados na revisão, apenas 41 atendiam aos critérios mínimos de robustez científica e a maioria eram estudos correlacionais não experimentais (o que não significa que sejam irrelevantes, pois são úteis para refinar hipóteses). 

Em mais de 30 anos de trabalho na administração pública e na academia, eu mesmo jamais tive a oportunidade de participar de um experimento controlado randomizado, assim como a maior parte dos meus colegas de profissão! Isso decorre de vários fatores. Diferente das ciências naturais, tanto por razões éticas quanto por razões intrínsecas ao objeto de estudo, é muito difícil conduzir um tipo de experimento de laboratório quando lidamos com fenômenos sociais. 

É praticamente impossível criar uma “sociedade alternativa” como grupo de controle, com o qual poderíamos contrastar os resultados observados de uma intervenção qualquer. Mas esse não é o único obstáculo: para a área de segurança faltam recursos para pesquisa, bons dados, uma cultura de avaliação e mesmo os conhecimentos especializados sobre técnicas e métodos de avaliação. Frequentemente recomendamos e ensinamos os gestores de segurança a fazer suas próprias avaliações como preconizado no método IARA de resolução de problemas ou nos “Observatórios” de boas práticas. Mas a verdade é que a avaliação de políticas públicas é uma atividade bastante complexa e mesmo nas faculdades de ciências sociais, economia ou administração, arrisco a afirmar que raramente formamos profissionais capazes de enfrentar os desafios de uma avaliação robusta. Como comparei na minha fala, é como se estivéssemos ensinando algumas noções de primeiros socorros aos operadores de segurança e demandando que façam cirurgias cerebrais... 

Talvez essa tarefa só seja possível hoje no Brasil em alguns poucos centros de pesquisa altamente qualificados, como o IPEA, INEP, Fiocruz e outras instituições governamentais de alto nível, onde a formação de um pesquisador demanda décadas de treinamento especializado. Ou em algum think tank altamente especializado em algum tema, ligado a alguma instituição universitária. A administração pública nem contrata nem forma pesquisadores, mas no máximo gestores bem informados. E exigimos deles que façam julgamentos consistentes sobre programas e políticas que custam milhões de reais e às vezes, vidas. A formação de pesquisadores qualificados é um processo longo e custoso e esta mão de obra apenas recentemente começou a ser formada na esfera da segurança. 

Esses obstáculos não significam que devemos então deixar de lado as evidências na administração pública, não obstante as carências alinhavadas. Nos meus anos de gestor público no governo federal e estadual, aprendi a desenvolver algumas técnicas que, se não resolve o problema de todo, ajudam pelo menos a caminhar em direção aos quase experimentos, com padrões mínimos de cientificidade. Foram, fazendo um trocadilho, quase pesquisas ou quase-estudos, mas que creio que ajudaram a gestão naqueles momentos a checar se estavam trilhando no caminho certo: policiamento comunitário melhora imagem da polícia? Reduzir armas reduz homicídios? Mais policiais reduzem crimes? E câmeras de vídeo? Supedâneos? Lei Seca? Estatuto do Desarmamento? Registro eletrônico de ocorrências? Infocrim? Uma primeira coisa que um pesquisador sem recursos isolado num universo de bacharéis pode fazer é aproveitar os “experimentos naturais”. 

Os experimentos naturais ocorrem “quando algum evento exógeno, como uma mudança de política do governo muda o ambiente no qual indivíduos, famílias, instituições ou municípios operam.” Pode ser uma nova lei, um novo procedimento administrativo, uma pandemia, momentos especiais que modificaram a dosagem de algum recurso policial, etc. Tratam-se de eventos raros, não controlados e cuja distribuição as vezes está longe de ser aleatória. A grande vantagem é que estes eventos estão ai, quase se oferecendo ao pesquisador para serem analisados, criando contra factuais para explorar as diferenças entre os fenômenos “previstos” e os fenômenos “observados”, que é um dos grandes desafios da avaliação. A série histórica de armas apreendidas pelas polícias mudou depois do Estatuto do Desarmamento? Podemos analisar a série antes e depois da nova lei e comparar com os valores previstos, usando algum método de predição temporal, como contrafactual. Lei Seca diminui homicídios? Neste caso temos não apenas a data de introdução da lei como municípios “similares” para usar como grupo de controle. A polícia entrou em greve ou, ao contrário, aumentou o efetivo em dias especiais de policiamento? Podemos verificar o efeito destas mudanças de dosagem de policiamento em alguns crimes. Os homicídios estão em queda em São Paulo ou também nos demais Estados? O que aconteceu nos municípios dos estados vizinhos, com o mesmo perfil sócio econômico? O que aconteceu com os crimes durante a pandemia, quando o isolamento social variou tanto no tempo quanto no espaço? Policiamento comunitário melhora a sensação de segurança? Vamos compará-lo com as áreas onde ainda predomina o policiamento tradicional. Estes são exemplos de perguntas e pesquisas reais que fizemos na Coordenadoria de Análise e Planejamento de São Paulo na década passada. 

A ideia básica aqui é a mesma: aproveitar estes quase experimentos de origem externa, encontrar algo similar com que se possa comparar e medir os efeitos, lançando mão de técnicas estatísticas que não precisam ser muito sofisticadas. É claro que estes procedimentos estão sujeitos a críticas e que não atendem a todos os requisitos de um experimento. É difícil defender que estamos comparando coisas que são de fato comparáveis, mesmo se esforçando para encontrar contra factuais legítimos. Se falta validade interna, em compensação estes exemplos permitem uma validação externa que muitas vezes os experimentos de laboratório não tem: são situações reais que se repetiram em centenas e as vezes milhares de locais e momentos. Centenas de pesquisas em todo o mundo replicaram resultados semelhantes como a queda da criminalidade patrimonial de rua (em algumas modalidades) durante o período do COVID. 

Os eventos “naturais” e as descontinuidades espaciais e temporais podem e devem, portanto ser encarados como oportunidades para a pesquisa, apesar das suas limitações. Mas os pesquisadores não precisam ficar a espera e na dependência destas oportunidades. Existem hoje métodos e técnicas, sobretudo econométricas, pensadas para transformar dados estatísticos em quase experimentos. Estes modelos buscam exercer controle sobre variáveis omitidas, lidar com outros problemas de endogeneidade como causação recíproca ou erros de mensuração das variáveis, criar contra factuais e grupos de controle que sejam comparáveis, de modo a assegurar que os resultados encontrados se devam realmente ao “tratamento”, no caso as variáveis explicativas dos modelos, e não ao acaso. 

Na lista abaixo nomeamos alguns destes modelos mais utilizados nas pesquisas criminológicas atuais. • Modelo de efeitos fixos: Uso de dados em painel; • Modelo IV: Uso de variáveis instrumentais e regressão em dois ou mais estágios; • Modelo de Diferenças em diferenças; • Regressões descontínuas; • Construção de grupo de controle sintético; • Pareamento de grupos por matching, balanced scorecard, etc; 

Uma revisão rápida na literatura criminológica recente vai encontrar dezenas de estudos que lançaram mão destes e outros métodos econométricos. São modelos probabilísticos e sujeitos a erro, mas hoje mesmo as pesquisas nas ciências naturais são de natureza probabilística e isso não elimina seu caráter científico. Os problemas aqui são outros: ausência de variáveis importantes nos modelos, raridade de genuínas variáveis instrumentais, validade da medida para representar o conceito que se quer medir, instabilidade dos coeficientes, etc. Utilizamos, por exemplo, meia dúzia de dimensões para construir um grupo de controle sintético ou para parear grupos por matching, quando na realidade os grupos tratamento e controle podem se diferenciar em função de centenas de dimensões não controladas. ]

Os modelos devem ser submetidos a uma série de testes estatísticos para serem validados, mas mesmo assim, muita coisa é simplesmente assumida pelos pesquisadores, sem maiores verificações. Modelos matemáticos são e sempre serão instrumentos heurísticos, um resumo precário dos fenômenos reais complexos que se procura explicar. São, como diz o conceito, quase experimentos. Mas são também o melhor que a ciência produziu até o momento para assegurar resultados que tenham algum grau de confiabilidade. A ideia das políticas públicas baseadas em evidências é que os recursos públicos são escassos e que os gestores tem a obrigação moral e intelectual de aplicar estes recursos do modo mais eficiente possível. Quando existem avaliações sobre uma prática, elas precisam ser levadas em conta e não devem ser ignoradas. 

Deus nos livre de um governo tecnocrata e “científico” (até pq consenso científico pode estar errado), que era o ideal da sociologia positivista quando a disciplina se originou. Valores e articulações políticas também são critérios relevantes para decisões administrativas. Gestores podem imprimir suas orientações e preferências pessoais na administração. Trata-se de encontrar aqui, como sempre, o equilíbrio entre valores e evidências. Pois ainda quando as evidências e os métodos são frágeis, o consenso atual é de que é melhor basear nossas ações neles do que em ideologias ou no velho argumento de sempre se fez assim.