Políticas públicas têm custos para
a sociedade e precisam ser sistematicamente avaliadas. Esse é um dos motivos
pelos quais o poder público, menos frequentemente do que deveria, executa
projetos piloto, antes de implementar alguma política em larga escala. A ideia,
tomada de empréstimo das ciências experimentais, é que o projeto piloto consiga
identificar os erros e acertos, fornecer uma estimativa de valores envolvidos,
do impacto sobre os indicadores que se almeja modificar, antes da adoção
universal.
Este é o caso, por exemplo, do
projeto Em Frente Brasil, de iniciativa do Ministério da Justiça. Trata-se de
um projeto piloto iniciado em cinco municípios com o objetivo de reduzir a
criminalidade violenta, através de uma nova metodologia que aposta na prevenção
social e repressão qualificada, integração entre os diversos atores em diferentes
níveis de governo, diagnóstico local da criminalidade, contratos locais com os
municípios, etc. Detalhes sobre o projeto podem ser facilmente obtidos no site
do Ministério da Justiça e não carece descrevê-lo aqui. (
https://www.justica.gov.br/news/collective-nitf-content-1567102301.36).
A intenção de fazer um projeto
piloto é louvável e muitas vezes o poder publico inicia políticas públicas em
larga escala sem uma avaliação prévia de custos e impactos. Mas um projeto
piloto só se presta à sua finalidade se for executado com rigor, pois do
contrário pode induzir a resultados equivocados. Dito isso, uma primeira
dificuldade para a avaliação do projeto Em Frente Brasil que gostaria de
destacar é sua natureza não controlada nem randomizada. Os municípios parte do
projeto foram intencionalmente selecionados por terem elevadas taxas de
homicídios entre 2015 e 2018, estarem em regiões metropolitanas, em Estados e
Municípios que concordaram em colaborar com o projeto federal, entre outros
critérios. Trata-se, portanto de uma amostra não aleatória e para a qual não
foi criado ex-ante um grupo de controle. Estas características da
amostra tornam bastante difícil para o analista discernir se os eventuais
efeitos se devem às ações colocadas em prática pelos governos ou à alguma
destas características particulares consideradas na seleção. Não existe um
“contrafactual” claro com relação ao qual possamos comparar a evolução da
criminalidade para nos assegurarmos que se deveram ao projeto.
Olhando os dados até aqui,
sabemos que os homicídios (aparentemente roubo também) estão em queda nestes
cinco municípios que fazem parte do Em Frente Brasil quando comparamos o ano de
2019 com 2018. Mas esta tendência de queda já vinha ocorrendo antes. Ela ocorre
igualmente ou mais intensamente em diversos outros municípios que não fazem
parte do projeto-piloto. Como podemos então garantir que não estamos diante de
uma associação espúria, se não estamos controlando inúmeros fatores, existe
viés de seleção na escolha dos integrantes do programa e não temos um bom
contrafactual?
Uma metodologia para tornar a avaliação mais robusta
É muito comum para os
pesquisadores se depararem com situação como estas, quando uma nova lei é
promulgada, uma política pública é iniciada, um novo fenômeno se manifesta
repentinamente. Raramente nestes casos toma-se o cuidado ou tem se a
possibilidade de pensar num design experimental ou amostras aleatórias e os
analistas são instados a posteriori a se pronunciar sobre o impacto das
medidas, leis e fenômenos de interesse. Para estes casos foram pensadas as
estratégias quase-experimentais.
Foi pensando nestas situações que
foram criadas diversas estratégias metodológicas, como a análise de séries
temporais interrompidas, a construção dos “grupos sintéticos” ou o pareamento
de casos a posteriori. Em todos estes casos procurasse simular qual teria sido
o resultado caso a intervenção não tivesse ocorrido e em seguida compara-se o
resultado previsto pelo modelo com o resultado realmente obtido. Num resumo
bastante simplista, conclui-se pela significância ou insignificância do
impacto, conforme a magnitude das diferenças entre o esperado e o observado. Assim,
por exemplo, conclui-se pela eficácia do Estatuto do Desarmamento pois,
pensando contrafactualmente, os homicídios teriam provavelmente crescido,
conforme as tendências pré 2003, numa intensidade bem maior do que fato
cresceram. Ou pela eficácia da Lei Seca pois os homicídios caíram mais nas
cidades que as adotaram, quando comparados com cidades similares.
Não vou me debruçar aqui sobre
todas as estratégias disponíveis, mas apenas dizer que é possível simular
experimentos e exercer controles a posteriori, de modo a conferir maior
robustez à análise de impactos. Especificamente no caso do projeto piloto Em
Frente Brasil, uma possível estratégia é encontrar municípios similares aos
cinco municípios do programa (grupo focal) e observar as tendências dos
homicídios neste grupo que chamamos pareado. Em outras palavras, para cada um
dos cinco municípios que estão no programa, trata-se de encontrar um “par”, que
não faça parte do programa. Infelizmente encontrar estes municípios similares
não é tão simples como parece. Similares com relação a que? Que variáveis
devemos selecionar, que tenham relação com o fenômeno de interesse, neste caso
os homicídios? Que método de pareamento adotar, quando falamos de muitas
dimensões diferentes? Como tratar estas variáveis? Como saber se criamos um bom
grupo pareado? Para encontrar os municípios pareado utilizamos um algorítimo
K-nn (Vizinhos mais próximos), depois de escolher as variáveis através de uma
regressão lienar usando a taxa de homicídios de 2018 como variável dependente e
de reduzir a dimensionalidade dos dados através uma análise de componentes
principais.
Resumindo os achados, a análise
de vizinhos mais próximos sugere que o grupo Em Frente Brasil, formado pelos
municípios Paulista, Goiânia, Cariacica, São José dos Pinhais e Ananindeua,
pode ser pareado com um grupo formado pelas cidades “vizinhas” Cachoeirinha,
Sinop, Teresina, Macaé, João Pessoa e Foz de Iguaçu. Não se trata de
proximidade espacial, mas sim de proximidade com relação à um grupo de
variáveis, que por sua estão linearmente correlacionadas a taxa de homicídios.
Aceita a premissa de que os
municípios EFB são razoavelmente similares aos municípios pareados, o passo
seguinte seria comparar as tendências dos homicídios antes e depois do
programa. Uma questão que precisa ser pensada é: desde quando o programa começa
a fazer efeito? Oficialmente o programa começa apenas em setembro de 2019, mas
o anuncio dos municípios participantes e as mobilizações locais começaram já no
segundo trimestre de 2019. O anúncio e a mobilização dos agentes municipais e
estaduais nestas cidades podem provocar efeitos positivos antes mesmo da
entrada dos recursos federais em setembro, antecipando um pouco os efeitos do
programa. Estamos considerando aqui os dados de julho em diante, supondo que os
efeitos começam a se manifestar pouco antes do início oficial do programa.
No quadro abaixo vemos as
quantidades de homicídios dolosos nos diferentes grupos de municípios, tomando
o período de julho a outubro de 2018 e 2019. No grupo EFB os homicídios caem de
340 para 194 (-43%), no grupo aleatório passam de 228 para 207 (-9%) enquanto
no grupo pareado caem de 272 para 209 (-23%).
As diferenças entre os períodos
pré e pós tratamento entre o grupo tratado e o grupo controle são
estatisticamente significativas, em contraste com o observado quando utilizamos
o grupo aleatório como controle.
Os dados iniciais sugerem,
portanto, que algo de diferente está ocorrendo nos municípios EFB e que o
projeto federal é provavelmente o responsável por isso.
O último dado divulgado para os
homicídios dolosos é para outubro de 2019 e os dados sobre os demais crimes não
estão disponíveis por município, de modo que não é possível aprofundarmos a
análise nem chegar a uma conclusão mais robusta sobre o impacto do programa
federal. A intenção do artigo tampouco era essa, mas antes a de pensar em
estratégias e metodologias que permitam uma avaliação mais adequada do projeto,
introduzindo um grupo pareado a posteriori para melhorar a avaliação dos
resultados. Se o método sugerido não produziu um grupo de municípios
comparável, é possível pensar em outras metodologias, mas algo precisará ser
proposto neste sentido. Caso contrário qualquer conclusão será frágil.
O programa Em Frente Brasil
parece ser de longe a melhor iniciativa tomada pelo atual governo federal na
esfera da segurança pública. Como cidadãos podemos gostar ou não do governo de
plantão e já adianto – para que os leitores possam fazer seu julgamento do
artigo - que tenho sérias reservas a ele, principalmente pela postura com
relação à flexibilização das armas de fogo, que pode colocar a perder os
eventuais ganhos do Em Frente Brasil. Mas como cientistas temos que nos ater às
evidências, sine ira et studio – como recomendava o velho Max Weber. O
risco é jogarmos fora um projeto que pode ser promissor, num país com uma
quantidade enorme de mortes.
A versão completa do estudo pode
ser lida no Reseacrhgate:
