terça-feira, 14 de agosto de 2018

Presença do PCC e a dinâmica dos homicídios nas Regiões brasileiras


Os dados de homicídios de 2017 acabam de ser publicados no anuário do Fórum Brasileiro de Segurança Pública e mostram a continuidade de tendências iniciadas na década passada. Se tomarmos, por exemplo, o período 2007 a 2017, identificamos um forte incremento dos homicídios nos Estados do Nordeste (60%) e Norte (76%), crescimento moderado no Centro Oeste (37%),  baixo nos estados sulinos (6,5%) e queda no Sudeste (-11%).

Obviamente que existem casos discrepantes em cada região. No Nordeste, Estados como Alagoas e Pernambuco mostram desempenho melhores que a média regional enquanto no Sudeste, Minas Gerais destoa negativamente dos demais estados. Como entender estas diferentes dinâmicas regionais?

Em 2013 publiquei na Revista do FBSP um artigo procurando explicar parcialmente o fenômeno. Resumidamente, no Norte e Nordeste observamos rápido crescimento da renda nas últimas décadas, que gerou aumento no crime oportunista patrimonial, como o roubo - além de crescimento desordenado e desigual na periferia das grandes cidades. Este aumento do roubo fez crescer a sensação de insegurança e com ela o uso da arma de fogo como meio de proteção. Como resultado do aumento das armas em circulação, vimos simultaneamente o crescimento dos homicídios. Isto num contexto onde o sistema de Justiça Criminal funcionava já muito precariamente. Em contraste, no Sudeste principalmente, presenciamos nas últimas duas década um ciclo virtuoso de crescimento econômico moderado, estabilidade do crime patrimonial e da sensação de insegurança, diminuição de armas em circulação e melhorias relevantes na eficiência das polícias, num contexto de diminuição da população jovem. (Kahn, Crescimento econômico e criminalidade: uma interpretação da queda dos crimes no Sudeste e aumento no Norte/NordesteRev. bras. segur. pública | São Paulo v. 7, n. 1, 152-164 Fev/Mar 2013)

Analisando posteriormente os dados do Atlas da violência no período 2005 a 2015, mostrei dois fenômenos que corroboram a relevância do papel das armas de neste processo: 1) a variação dos homicídios entre 2005 e 2015 acompanha a variação na proporção de homicídios cometidos com armas de fogo. Em São Paulo 55% das mortes por agressão tem a arma de fogo como instrumento e a média nacional é de 71,6%. Todo o Nordeste está bem acima destes patamares. Em Alagoas, a porcentagem é de 87%, 79% na Bahia, 82% no Ceará, 81% na Paraíba, 75% em Pernambuco, 82% no Rio Grande do Norte e em Sergipe 2) as taxas de homicídios seguem um padrão em formato “U”, isto é, são maiores nas cidades pouco e muito populosas e menores nas cidades de população média. Não por acaso, a % de homicídios cometidos com armas de fogo (medindo aqui, simplesmente, armas em circulação), segue o mesmo formato em U, sugerindo novamente que homicídios, qualquer que seja a Região do país, seguem de perto a disponibilidade de armas, como previsto.( https://tuliokahn.blogspot.com/2017/07/por-que-as-taxas-de-homicidios-seguem.html)

Uma explicação alternativa, bastante comum entre as “autoridades” de segurança pública,  argumenta que os homicídios cresceram no Norte e Nordeste em razão do aumento do tráfico de drogas - especialmente do crack -  e dos problemas correlatos que esta modalidade de crime acarreta: morte entre traficantes por disputas de mercado, morte de usuários que não pagam suas dívidas, morte de traficantes e usuário em confronto com as polícias e assim por diante.

Com efeito, droga é uma “mercadoria” como outras e seu consumo é afetado pelo nível geral da renda. O crescimento econômico rápido e intenso no Norte e Nordeste nas últimas décadas pode de fato ter contribuído para o aumento do consumo e apreensão de drogas na Região. Este aumento do consumo, por sua vez, gerado uma disputa pelo mercado crescente, endividamento de usuários, confrontos com a polícia, etc. Mas não temos dados, infelizmente, que corroborem este aumento específico do tráfico e uso de drogas no Norte e Nordeste, mas apenas os dados dos homicídios, que seriam a “consequência”. De modo que estamos diante da típica falácia da afirmação do consequente, uma vez que não existem evidências do aumento do consumo e tráfico especificamente no período e regiões mais afetadas pela epidemia de homicídios. [1]

Esta explicação não consegue dar conta de muitas evidências encontradas. As taxas de homicídios, como vimos, são mais elevadas nas cidades pouco e muito populosas, mas caem nas cidades de população médias. Vimos que a disponibilidade de armas consegue explicar este fenômeno. Mas por que motivos o tráfico (e as mortes correspondentes) seria maior nas cidades pequenas e grandes do que nas médias? Dados das pesquisas da UNIFESP sobre prevalência de uso do crack, por sua vez, mostram que o uso da substância é ínfimo no Norte (1%) – onde os homicídios explodiram nos últimos anos – e elevado no Sudeste (35%), onde os homicídios caíram. (http://g1.globo.com/ciencia-e-saude/noticia/2012/09/nordeste-concentra-40-do-consumo-de-crack-no-brasil-aponta-estudo.html). As taxas de tráfico por 100 mil habitantes, mesmo que tenham aumentado de forma generalizada, ainda são bem inferiores à média nacional justamente nos Estados do Norte e do Nordeste e maiores no Sudeste. Como compatibilizar estes fatos com a “hipótese das drogas”?[2]

Ligada parcialmente a esta hipótese do crescimento do tráfico e uso de drogas no Norte e Nordeste, encontramos agora uma sugestiva explicação da dinâmica dos homicídios nas regiões baseada na maior ou menor presença do PCC nos Estados. Os pesquisadores Camila Dias e Bruno Manso estudaram a queda dos homicídios em São Paulo e em suas pesquisas sugerem que a facção criminosa teve um papel regulador importante para explicar a queda dos homicídios no Estado. Em trabalho conjunto mais recente, procuram aplicar aos demais estados uma hipótese semelhante: quanto mais forte a presença do PCC num estado, maior seu poder regulador sobre os homicídios. Mas a violência num estado, complementam,  pode aumentar durante o processo de consolidação do domínio da facção. Assim, o impacto da facção criminosa sobre os homicídios dependeria do grau de presença do PCC no Estado. ( Camila Dias e Bruno Manso. A Guerra: A Ascensão do PCC e o Mundo do Crime no Brasil)

Se entendi corretamente através do pouco que foi divulgado pelos jornais (o livro ainda não foi publicado), os autores basearam-se em evidências policiais e documentos da facção para classificar os estados segundo a presença do PCC, gerando quatro diferentes situações: muito alta, alta, média e baixa. Onde a presença do PCC é muito alta, observaríamos queda nos homicídios. Uma presença média, por outro lado, pode ser indício de disputa com outras facções locais, que pode implicar em aumento da violência. Uma presença “alta”, supomos, implicaria em algo intermediário entre o “muito alto” e a “média”, com índices decrescentes de criminalidade. Uma presença “baixa” por sua vez, implicaria em impactos não significativos sobre a criminalidade ou em queda, no caso de monopólio de alguma outra facção. Graficamente, se colocarmos os níveis de presença do PCC num eixo e as taxas de homicídio no outro, teríamos uma curva logarítmica truncada, como abaixo:


Presença do PCC e impacto sobre os homicídios


A conjectura faz sentido do ponto de vista lógico e pode ser colocada à prova empiricamente. Na discussão do caso paulista, vimos que a conjectura da regulação dos homicídios via PCC falha em explicar diversas evidências: a queda em São Paulo começa num período anterior, ocorre de forma generalizada no Estado, mesmo onde não existe a facção, as mortes caem entre vítimas de todas as idades e gêneros, diminuem as mortes interpessoais, que guardam pouca conexão com as mortes em dinâmicas criminais, etc.
  (https://www.researchgate.net/publication/305653088_O_Misterio_de_Sao_Paulo''_e_o_Papel_do_PCC_na_Reducao_de_Homicidios_nos_anos_2000). Domínio dentro dos presídios é uma coisa e capacidade de influenciar os homicídios na sociedade mais ampla é outra. Frente a conjecturas alternativas, a explicação via regulação do PCC é fraca e residual, impactando eventualmente a dinâmica criminal de algumas comunidades na Capital. Mas é possível que a conjectura PCC explique melhor a dinâmica dos homicídios em outros estados.

De todo modo, para testar (muito) apressadamente a hipótese, colocamos na tabela abaixo a classificação dos autores sobre a presença do PCC nos Estados e as variações nas taxas de homicídios entre 2007 e 2017.[3] Antes de aprofundarmos os argumentos, vejamos o que sugerem os dados.

Os estados classificados como de presença “muito alta” do PCC são SP, PR e MS e todos eles apresentaram queda nos homicídios na década, corroborando a hipótese dos autores sobre o papel regulador da facção num contexto monopolista. Nos estados classificados como presença “alta”, supomos que deveríamos também ver alguma influência deste poder regulador, embora em menor medida. Mas não é isso que encontramos: enquanto os homicídios caem ligeiramente em Alagoas, sobem bem acima da média nacional nos outros quatro (AC, RR, PI e SE). Assim, se é verdade que a presença do PCC influencia as taxas de homicídio, isto parece ocorrer apenas a partir de certo estágio de presença, quando ela passa para a categoria “muito alta” (efeito threshold?). 



Uma presença “média” do PCC, segundo a conjectura, poderia implicar em conflito com outras facções e aumento da violência. Temos 14 estados neste grupo e dentre estes observamos quedas nos homicídios no DF e ES no período, que refutam o argumento. Dois outros estados apresentam variações menores do que a média nacional (RO e PE). Finalmente, em 10 estados vemos crescimentos elevados dos homicídios na década, como sugere a conjectura.

  
Por último, temos cinco estados classificados como de “baixa” presença do PCC e neles a evolução dos homicídios foi variada: acima da média nos estados da Região Norte (AM, PA, TO), abaixo da média no MT e queda no RJ - onde várias facções convivem no sistema prisional) e disputam o mercado de drogas na cidade;

Vemos assim que a evidência é mista, corroborando as hipóteses em alguns casos e rejeitando em outros. Seria preciso aprofundar melhor as dinâmicas estaduais para compreender estas possíveis exceções à regra.  Isto supondo que a “regra” seja válida, algo que ainda não foi razoavelmente demonstrado, como sugere o caso paulista.

Entre outras questões relevantes, é possível, baseado em evidência qualitativa, estimar a presença do PCC dentro das prisões, mas será possível extrapolar esta presença interna para estimar a capacidade de regular os homicídios nas comunidades, fora das prisões? As quedas ou aumentos dos homicídios nos estados coincidem temporalmente com os avanços da presença do PCC? Outras facções monopolistas não deveriam gerar os mesmos efeitos sobre os homicídios? Como explicar o crescimento dos homicídios especialmente nas pequenas cidades? Qual o perfil de quem esta morrendo, apenas homens jovens ligados ao universo do crime? Qual o papel da historicidade, como políticas públicas específicas de combate aos homicídios adotadas com sucesso em alguns estados? É preciso que a teoria se adeque a estas características morfológicas dos homicídios, se tem pretensão a validade.

Como em toda explicação, existem ainda muitas lacunas a serem preenchidas. A hipótese é criativa e os autores fizeram mais uma vez um excelente trabalho mapeando a força da facção nos estados e oferecendo uma explicação coerente para as diferentes dinâmicas estaduais, superior à hipótese simplista do “crescimento do crack”. Desconfio novamente que o papel regulador do PCC neste processo de aumentos e quedas, externo aos presídios, seja novamente residual. Mas as ideias estão (e muito bem) colocadas e aos pesquisadores resta o desafio de coloca-las ao crivo das melhores evidências!




[1] O raciocínio legítimo é se A, então B. Encontramos evidência de A, logo B é corroborado. O raciocínio falacioso é Se A, então B. Encontramos evidência de B, “logo”, A. É a famosa falácia da afirmação do consequente.
[2] Estatísticas de tráfico são tanto um indicador de renda local quanto de atividade policial. Deste modo, não podemos utiliza-las para estimar o consumo. Precisaríamos de novas pesquisas de incidência e prevalência para verificar a evolução do consumo por estado.
[3] A tabela do FBSP continha lacunas, que foram preenchidas (em vermelho)  com os dados de homicídio do Datasus ou estimadas pelas médias dos anos próximos.

segunda-feira, 30 de julho de 2018

Recessão e roubos: formatos VULW


Se analisarmos as oscilações dos indicadores econômicos (emprego, PIB, inadimplência, etc.,) durante as recessões, veremos que os gráficos podem assumir diferentes formatos, aparentando letras alfabéticas tais como V, U, L ou W.

Resumidamente, o formato em V sugere uma curta e aguda contração econômica, seguida de recuperação acelerada e igualmente intensa enquanto a curva em U uma recessão prolongada e moderada. Um gráfico em L ocorre se a economia passa muitos anos sem crescimento, caracterizando um tipo mais severo de recessão ou eventualmente uma depressão. A rigor não existe um "L" de fato pois a definição mesma de ciclo econômico implica que, em algum momento, a economia volta a crescer. (mas infelizmente não temos nenhuma letra no alfabeto que represente este retorno, após uma depressão prolongada). Finalmente, um gráfico em forma de W, caracteriza um movimento do tipo double-dip (duplo mergulho), quando observamos um curto período de crescimento econômico após um período recessivo, que por sua vez é sucedido por um novo mergulho.

Todos estes formatos podem ser vistos também em forma invertida, se estivermos focando nas fases de recuperação do ciclo, mas para efeitos didáticos vamos nos ater aos principais.

Formatos de ciclos econômicos

V
U
L
W

Insistimos já há muitos anos que os indicadores criminais brasileiros, em especial os patrimoniais, seguem bem de perto alguns indicadores econômicos do business-cycles, como cheques devolvidos, expectativa do consumidor, desemprego e Pib, entre outros. Assim, quando analisamos os gráficos criminais também conseguimos enxergar, frequentemente, estes diferentes formatos que descrevem os movimentos da economia.

Pelos menos 4 estados (SP, RJ, RS e MG) publicam dados mensais de criminalidade desde 2002, o que nos permite remontar a série histórica de modo a abranger as recessões de 2003, 2009 e 2014. No gráfico abaixo vemos na linha verde as variações dessazonalizadas dos roubos nestes quatro estados, usando uma média móvel de cinco meses para dar maior nitidez aos movimentos cíclicos. As colunas azuis, por sua vez, trazem as variações mensais dos cheques sem fundo devolvidos por milhão de cheques, um indicador do Serasa que tomamos aqui como medida dos ciclos econômicos.

Como é possível verificar, a crise econômica de 2003 produziu um pico nos roubos naquele ano, rápido e agudo, mas logo após a criminalidade retoma a tendência de queda iniciada pouco antes e que se estende até meados de 2009. Em 2009, a curta recessão gera novo impacto nos roubos, mas também de breve duração e os roubos retomam a tendência de queda até metade de 2010. Nos dois momentos de crise, temos algo parecido à um V invertido no gráfico de variação dos roubos.



A partir de setembro de 2010 observamos uma inversão de tendência nos roubos e um longo período de piora da criminalidade (cerca de 70 meses, se descontarmos uma breve melhora em 2012), que atinge seu pico em 2014, no auge da crise econômica. A partir do pico de 2014 note-se, na sequência, um período de 14 meses de recuperação que vai até agosto de 2015, seguido de um novo crescimento dos roubos até setembro de 2016. De outubro de 2016 até aproximadamente maio de 2018 presenciamos um novo período de 21 meses de queda nos roubos. Se tomarmos, portanto, este período de 2014 a 2018, é possível ver no gráfico um W em formato invertido (alta 2014 / baixa em 2015 / alta em 2016 / baixa em 2017 a metade de 2018 / nova alta se formando em 2018).

Aparentemente, chegamos ao ponto máximo do período de queda, o que sugere que a partir daqui veremos uma redução na velocidade da queda e nos próximos meses um aumento dos roubos. As variações dos roubos com relação ao mesmo mês do ano anterior em São Paulo, divulgadas esta semana, foram, a partir de março, de -28, -14, -17 e -2, prenunciando esta futura inversão. Além disso, note-se como os cheques sem fundo no gráfico também vem num processo de desaceleração da queda nos últimos meses. Um último indício é a diminuição nas ocorrências de tráfico de drogas em alguns estados, que interpretamos como indicador de piora da atividade econômica, pois droga é uma commodity como outra qualquer e é afetada pelo ciclo econômico. Se este cenário se configurar, em outubro, durante as eleições, muitos estados estarão passando por uma fase de crescimento da criminalidade, com eventuais impactos nos discursos eleitorais.

Neste grande cenário de incerteza, a única certeza que temos é a de que os ciclos se alternam indefinidamente e mais cedo ou mais tarde os crimes voltarão a subir. Ajuda muito se a economia voltar a crescer de forma consistente e não em voos de galinha, que explicam em parte o formato em W. O discurso de alguns candidatos com relação ao déficit na previdência e a irresponsabilidade fiscal do Congresso levam a crer que a economia não voltará a crescer significativamente em 2019. E pode mesmo voltar a piorar, como a experiência histórica revela.

Este período de inversão de tendências pode ser um bom teste para verificar os efeitos da intervenção federal no RJ e outras políticas públicas estaduais. Quem continuará o movimento de queda na criminalidade dos últimos meses, quando os ventos soprarem contra?

segunda-feira, 16 de julho de 2018

Cinco meses de Intervenção Federal no RJ: no fogo cruzado das interpretações




Em dois artigos anteriores neste ano abordamos o tema do impacto da intervenção federal na segurança pública do Rio de Janeiro, utilizando como fonte os dados oficiais publicados pelo ISP-RJ. De um modo geral, a conclusão foi de que a maioria dos indicadores estavam em queda ou estabilizados. A queda, todavia, começara num período anterior à intervenção e seguia uma tendência generalizada de diminuição criminal nos Estados, depois de passado o pior momento da recessão de 2014.

A magnitude da queda Carioca, quando comparada aos demais estados, não chega a ser surpreendente, de modo que não se pode atribuí-la, necessariamente à intervenção federal, sendo necessário dados locais das ações para aferir a existência de eventuais impactos.

As pesquisas de opinião realizadas no RJ sugerem que a população apoia a intervenção, mas que esta enfrenta bastante resistência em diversos setores sociais, dada a natureza militar da intervenção e a pouca transparência com relação a metas e meios para atingi-los. O assassinato da vereadora Marielle Franco e a morte de civis - muitas crianças – em operações desastradas aumentaram a polarização na sociedade carioca em relação à intervenção.

Este duelo de versões e interpretações sobre o que está ocorrendo com a criminalidade após a intervenção se reflete no uso das estatísticas criminais e, através desta, na cobertura jornalista sobre o cenário. Enquanto o governo esgrima os dados oficiais – principalmente de roubo de veículos e de carga – para mostrar que a criminalidade está em queda e que a responsabilidade é da nova gestão, a sociedade civil utiliza os dados da plataforma “Fogo Cruzado”, para mostrar outros aspectos indesejados da intervenção federal.

Como descrito no site da Instituição, Fogo Cruzado é uma plataforma digital colaborativa que registra denúncias de tiroteios e violência armada na região metropolitana do Rio. A base de dados é formada pelas denúncias recebidas pelas redes sociais ou noticiadas pelos meios de comunicação e é possível acompanhar a evolução dos tiroteios desde julho de 2016. Enquanto os jornais dão bastante destaque aos dados da plataforma, o governo evita comentá-los, alegando que se tratam de dados não oficiais.

Como mencionado em artigo anterior, é necessário algum cuidado na utilização dos dados do Fogo Cruzado pois assim como os dados oficiais, as denúncias variam conforme a propensão à notificação: a própria intervenção e o uso dos dados da plataforma para avalia-la pode assim inflacionar a quantidade de denúncias recebidas.

Na tabela abaixo compilei os dados mensais de tiroteios, presença de agentes públicos no local dos tiroteios, contagem de mortos e feridos nos eventos, segundo as denúncias recebidas pelo Fogo Cruzado, de julho de 2016 a junho de 2018.

Acrescentei à tabela quatro colunas: razão entre mortos e feridos nos tiroteios e as razões entre tiroteios por agente, mortos por agente e feridos por agente policial presente. Estas razões são classicamente utilizadas para aferir eventuais excessos nas ações policiais pela literatura.
Ao final da tabela inclui também as médias de três períodos: 1) fevereiro a junho de 2017, 2) cinco meses anteriores à intervenção e 3) média dos cinco meses após, ou seja, fevereiro a junho de 2018, possibilitando uma comparação dessazonalizada com a primeira média.





Fonte: plataforma Fogo Cruzado

Os primeiros dados interessantes surgem nas “razões” destacadas em cores: nos meses anteriores à intervenção observamos um aumento em todas elas, quando a razão é superior a 1. Assim, por exemplo, quando analisamos a série histórica de mortos por feridos, há um crescimento de 41% na comparação com o mesmo período do ano anterior, mas uma certa estabilidade quando comparamos com as médias dos cinco meses anteriores à intervenção (apenas 2% de aumento). Observe-se pelos “vermelhos” na tabela que o pior período, analisando todos os indicadores, parece ter ocorrido entre julho e dezembro de 2017, e a partir daí observamos alguma melhora relativa.

Há um evidente aumento no número de denúncias de tiroteio após a intervenção federal (69% ou 40%, dependendo do período base que se utilize), assim como da presença de agentes nos locais (82% e 126%). Algo esperado, tendo em vista tanto o aumento na quantidade de operações quanto da sensibilização da população com relação ao tema.

Note-se, contudo, que a letalidade das ações parece diminuir, tanto em números absolutos quanto relativos, quando utilizamos as razões por agente. Usando a comparação dessazonalizada, o número absoluto de feridos cai 23% enquanto o de mortos cresce 5%. Usando a comparação com os meses anteriores, o número de feridos cai 10% e o de mortos 8%.

E, na medida em que houve um aumento da presença de policiais nos eventos, qualquer que seja o período base de comparação, notamos uma diminuição nos indicadores “tiroteios por agente”, “mortos por agente” e “feridos por agente”.

Seria interessante analisar os dados oficiais de letalidade para verificar se eles apontam para a mesma tendência, mas os dados de letalidade de junho ainda não foram publicados e não existem dados sobre feridos ou quantidade de policiais presentes nas ações. De todo modo, tomando apenas os homicídios decorrentes de intervenção policial publicados pelo ISP, observamos um crescimento no indicador quando comparamos a série dessazonalizada (média de 96 X 113) e estabilidade quando comparamos com os cinco meses anteriores à intervenção (114 X 113).

Como já manifestado anteriormente, há várias razões de diferentes naturezas para se criticar a intervenção, mas isto não quer dizer que nossa análise factual sobre seu impacto nos indicadores deva ser afetada. É preciso observar os dados com cuidado e proceder “sine ira et studio”, como recomendava Weber, mesmo contra nossas convicções íntimas. Do contrário, nossa capacidade de crítica isenta é a primeira vítima neste fogo cruzado.




quinta-feira, 12 de julho de 2018

Homicídio ou homicídios? diferentes explicações para diferentes contextos nacionais




Em junho publicamos um artigo correlacionando a taxa de homicídios coletada pela UNODC com centenas de indicadores sócio econômicos disponibilizados pelo Banco Mundial, para 217 países em todo o mundo. Nas correlações bivariadas, diversos indicadores se revelaram significativos para explicar porque alguns países tinham taxas maiores ou menores de homicídio.

Mas tomar países abstratamente como unidade de análise pode ser enganoso, uma vez que escondem realidades bastante diferentes. Se as diferenças de contexto são grandes quando comparamos cidades ou estados de um mesmo país, são ainda maiores quando comparamos países.

Um é paupérrimo e outro riquíssimo. Um muçulmano e outro católico. Este tem grande população jovem e poucos migrantes e o vizinho o contrário. Um é pequeno e gelado a maior parte do ano e outro enorme e desértico. Num a população se concentra em alguns pequenos centros urbanos enquanto noutro se espalha pelos campos. A economia de um é diversificada e equilibrada e a de outro se baseia na exportação de alguns poucos produtos primários. Em resumo, as diferenças em nível internacional são muito mais acentuadas do que em nível mais local e estas diferenças afetam os níveis de criminalidade.

Em tese esta variabilidade é positiva, pois faz com que nossas variáveis variem!!! Assim, por exemplo, a relação entre homicídios e concentração de renda fica muito mais nítida quando incluímos na amostra países com níveis de homicídio altos e baixos e concentração de renda variada. Por outro lado, como veremos adiante, uma diferença acentuada de contextos pode ser enganadora: a relação entre homicídio e a variável X parece forte, mas apenas porque é especialmente forte numa determinada região, todavia fraca nas demais. Ou a relação entre homicídios e a variável Y parece inexistente, mas na verdade tem sinal positivo na região A e negativo na região B, fazendo com que se anulem. Este é um problema de muitas pesquisas quantitativas: as variáveis devem variar, mas o ideal é que a distribuição do fenômeno seja mais ou menos aleatória entre as unidades de análise.

No caso dos crimes e diversos outros fenômenos sociais, não é sempre o que acontece. Crime tem padrões universais, mas também diversas características e especificidades locais. Isso faz com que algumas variáveis sejam relevantes numa região do planeta e irrelevantes em outras. Importantes para países com grau de desenvolvimento econômico elevado e desimportante em países pobres.

Na analise a seguir, tomamos novamente as taxas de homicídios da UNODC como variável a ser explicada e correlacionamos com as mais de 1500 variáveis sócio econômicas do projeto WDI (World Development Indicators) do Banco Mundial, mas desta feita desagregamos os países por região (África, América, Europa, Ásia e Oceania) e grupo de renda per capita.

Obviamente que internamente estas regiões também são bastante heterogêneas: dentro da América temos os Estados Unidos e Honduras. Seria possível trabalhar com sub-regiões mais homogêneas, mas o problema é que a quantidade de países não é grande suficiente para suportar subdivisões menores e a regra de etiqueta é que se evite interpretar estatísticas calculadas com número de casos demasiado baixo (o que explica a exclusão da Oceania das regiões).

Dividimos também os países em dois grupos de renda: um primeiro com 64 países com renda per capita mais elevada e os demais num segundo grupo. Aqui também cabe observar que nível de renda per capita não é garantia de homogeneidade. Convivem no grupo de renda elevada países nórdicos igualitários e países árabes exportadores de petróleo, onde a riqueza se concentra na família real e seus apaniguados. Nos dois casos – região e grupo de renda – trata-se apenas de garantir uma maior homogeneidade, quando comparado com a amostra global, mas ainda assim temos bastante heterogeneidade interna nas regiões e grupos de renda.

A questão relevante é: quando analisamos as correlações entre as taxas de homicídios e as centenas de indicadores socioeconômicos do WDI, encontramos variáveis que se mostram relevantes globalmente para explicar a variação na taxa de homicídio dos países? Ou seja, algo que seja válido para todos os países, independente da região ou nível de renda per capita? Por outro lado, que indicadores se revelam especificamente relevantes dentro de cada região ou grupo de renda?

Um primeiro resultado da análise é que aparentemente existem poucas variáveis que sejam relevantes universalmente. A maioria delas se revelou válida apenas para algumas regiões ou apenas para um grupo de renda. Em parte, este pode ser o resultado da redução do tamanho da amostra, quando dividimos os países por região ou em dois grupos de renda. Mas pode significar também que o homicídio tem padrões que são regionais ou características específicas, dependendo do nível de renda nacional.

Assim, por exemplo, quando dividimos os países entre renda per capita alta e baixa, observamos que para os países de renda elevada são importantes para “explicar” as variações nas taxas de homicídios as variáveis relacionadas a educação, inflação e tarifas sobre os produtos, enquanto para os países de renda mais baixa, são mais relevantes as variáveis relacionadas a concentração de renda, trabalho infantil e pobreza. Ou seja, são variáveis diferentes que parecem explicar as taxas de homicídios nos países de renda per capita alta e baixa. Isso sugere que podem coexistir diferentes dinâmicas por trás do fenômeno que denominamos genericamente por “homicídio”. E que o que importa num determinado patamar de renda não se aplica necessariamente ao outro. 

A tabela abaixo traz o coeficiente t significativos e resume os tipos de indicadores que são mais relevantes para cada grupo de países. Exceto por um indicador, todos os demais são não coincidentes.
   

Tabela 1 – Associações significativas (t) entre taxas de homicídios e indicadores socioeconômicos, segundo grupo de renda do país


Fonte: taxas de homicídio (UNODC) / indicadores socioeconômicos World Bank, projeto WDI

O mesmo acontece quando dividimos os países por regiões: na África, explicam melhor as variações nas taxas de homicídio os indicadores de concentração de renda, o peso da dívida externa e os indicadores de desemprego. Na América, parecem mais relevantes as variáveis ligadas à educação. Na Ásia os indicadores demográficos, educacionais, de qualidade logística do país e de renda são os que mais fortemente se vinculam aos homicídios. Na Europa, finalmente, vemos um “mix” amplo de indicadores relacionados à demografia, educação, inflação, logística, emissão de poluentes, variáveis ligadas à saúde e porcentagem de tarifas sobre os produtos. Mais uma vez aqui, percebe-se que indicadores diferentes são relevantes em diferentes regiões (embora Ásia e Europa compartilhem muitos indicadores)

Estamos diante de artifícios estatísticos ou de fenômenos reais? Como discutimos no primeiro artigo, estas são apenas correlação bivariadas simples e são necessários modelos mais robustos para testar estas hipóteses. É possível que variáveis do tipo “tarifas”, “logística”, “emissão de poluentes”, etc. – que vimos estarem relacionadas aos homicídios nos países de maior renda - sejam apenas medidas indiretas do “grau de pobreza” e “concentração de renda” e que apenas por acaso apresentem coeficientes mais fortes do que “pobreza urbana” ou “participação na renda”, que se relevaram significativas nos países mais pobres.

De todo modo, nosso objetivo não é aprofundar modelos mas antes o de resumir cerca de 6 mil equações (por ex, correlação entre os 1500 indicadores X 4 regiões). E não deixa de ser interessante observar nesta análise exploratória que, quando dividimos os países em grupos, as taxas de homicídio parecem ser explicadas por conjuntos diferentes de indicadores, sugerindo a existência de diferentes dinâmicas de homicídios. A literatura criminológica já revelou que existem diversas dinâmicas sociais por traz dos homicídios: em alguns locais apresentam natureza mais passional e em outro estão mais ligados a dinâmica propriamente criminal. Num contexto temos influencia do crime organizado e das organizações policiais ou paramilitares e num outro os efeitos da disponibilidade de álcool, drogas e outros fatores crimogenicos. Sabemos, portanto, que o fenômeno “homicídio” pode ser bastante heterogêneo em si.

É importante levarmos em conta estas especificidades na formulação de políticas públicas. Não existem fórmulas universais, embora saibamos já que alguns conjuntos de variáveis e políticas públicas tendem a diminuir os homicídios e outros a aumentá-los. Mas o que funcionou num contexto pode não funcionar, ou ter um impacto menor, num contexto diverso. O caso do Estatuto do Desarmamento no Brasil e seu impacto desigual nas regiões é um claro exemplo desta diferença de contextos, como já tratamos em outra ocasião.

Novamente aqui fica o alerta para a necessidade de aprofundarmos o estudo do fenômeno antes de intervirmos através de políticas públicas. Há muito mais entre o céu e a terra do que podemos supor observando apenas as taxas de homicídio.




quinta-feira, 28 de junho de 2018

Explorando a correlação internacional entre homicídios e indicadores sócio econômicos.



Segundo os dados da UNODC, o Brasil é o país com maior número de homicídios absolutos no mundo, com mais de 60 mil mortes por ano, seguido pela Índia, México, África do Sul e Venezuela.  Em termos de taxa por 100 mil habitantes, somos o 12º lugar na lista de aproximadamente 230 países e territórios analisados, com média de 28:100 mil no período 2014 a 2016. (Dados originais podem ser explorados aqui: (https://public.tableau.com/profile/deolhonocrime#!/vizhome/UNODChomicides/correlation))

O que faz o Brasil estar no topo deste rol? Quais as características sociais e econômicas dos países que estão nos extremos da lista? Existem países com características sociais similares, mas que apresentam baixas taxas de homicídio, com os quais podemos aprender algumas lições? Este tipo de pergunta só pode ser respondida através da comparação internacional, uma vez que estudos de caso, mesmo que aprofundados, nem sempre permitem distinguir padrões gerais e especificidades locais.
Anos atrás os projetos comparativos em nível internacional eram difíceis de serem realizados, pois era difícil coletar dados padronizados para muitos indicadores e muitos países. Na última década, contudo, vimos um aumento considerável de projetos procurando coletar, padronizar, sistematizar e disponibilizar bases de dados mundiais, encabeçados principalmente por organizações multilaterais como a ONU e o Banco Mundial.

Assim, por exemplo, o Banco Mundial iniciou em 2010 o projeto WDI (World Development Indicators) que coleta séries históricas anuais retroativas a 1960, de centenas de indicadores sociais e econômicos, de 217 países.  Os tópicos abrangem, entre outros, a segurança alimentar e agricultura, mudança climática, crescimento econômico, educação, energia e extrativismo, meio ambiente e recursos naturais, setor financeiro, vulnerabilidade macro econômica e débito, pobreza, desenvolvimento do setor privado e público, desenvolvimento social, comércio e desenvolvimento urbano.

Esta abundância de dados e as novas ferramentas de análise permitem a realização de estudos exploratórios abrangente utilizando um grande número de variáveis, em busca de correlações e insights sobre os fenômenos. Neste tipo de abordagem “data driven” (orientada pelos dados), ao contrário da pesquisa acadêmica tradicional, parte-se dos dados, sem grandes elaborações a priori, para a teoria. Apesar de amplamente adotado no mundo empresarial, Data Science, como já discutimos alhures, é mais Data do que Science...

Os riscos desta abordagem simplista são muitos, como deparar-se com correlações espúrias enganosas. Encontramos na análise, por exemplo, uma correlação positiva e significativa entre taxa de homicídio e volume de precipitações anuais de chuva. Isto não de deve certamente à chuva em si, mas antes ao fato de que a maioria dos países com altas taxas de homicídio estão localizados na faixa tropical, onde é maior o volume de chuvas. Há que se tomar cuidado também do problema da causalidade inversa: homicídios aparentam ser maiores nos países com maiores gastos percentuais em educação (R2 = .34, T= 3,17, Prob = 0,0020), embora outros indicadores educacionais estejam ligados inversamente aos homicídios, como veremos abaixo. Não é que os países que gastam mais em educação piorem a violência, mas provavelmente a violência é pior, neste momento histórico, nos países que precisam ainda investir fatias consideráveis do seu orçamento em educação, replicando o que os países desenvolvidos fizeram décadas antes. Só um design de pesquisa mais sofisticado pode capturar estas sutilezas. Finalmente, é preciso lembrar que regressões e coeficientes de correlações lineares são boas medidas de fenômenos lineares mas não captam bem outras formas de associação entre as variáveis, que podem ser logarítmicas, exponenciais, em forma de U, de sino, potência, etc. A bem da verdade, uma curva em forma de potência descreve bem melhor a relação entre homicídios e os indicadores do WDI do que uma reta. [1]Em todos estes casos o coeficiente de correlação linear é enganoso e só o apresentamos porque é mais familiar e inteligível para os leitores.

De todo modo, como abordagem preliminar, as pesquisas exploratórias baseadas em correlações “data driven” tem gerado hipóteses relevantes que podem posteriormente ser aprofundadas em pesquisas mais robustas. Com este alerta em mente, o que encontramos quando correlacionamos as taxas de homicídio por 100 mil habitantes coletadas pela UNODC com as centenas de indicadores sociais e econômicos coletados pelo projeto WDI? Em outras palavras, que características sociais e econômicas estão correlacionadas com altas ou baixas taxas de homicídio nos países?

Nesta análise cross sectional (muitas unidades regionais num ponto no tempo), utilizamos as taxas médias de homicídio entre 2013 e 2016 e as taxas médias dos indicadores sociais e econômicos para o período 2010 a 2016. Selecionamos apenas os casos onde existiam dados para mais de 50 países e apenas aquelas correlações que se relevaram significativas (Prob < 0.0010)

Supondo que a relação entre as variáveis seja linear, de modo geral, a análise corrobora a importância da educação, pobreza, desigualdade e população jovem na “explicação” das taxas de homicídio, já identificada em outros estudos.




A tabela sugere que concentração de renda aumenta a taxa de homicídios, assim como uma grande proporção de jovens que não se encontra nem estudando nem trabalhando, conhecidos no Brasil como “nem-nem”. Os países com grande porcentagem de jovens na população também tem taxas maiores, assim como aqueles com elevada taxa de fertilidade na adolescência e elevada porcentagem de pobreza urbana. Menos óbvias são as associações com uma pauta de importação e exportação de e para países de renda média da América Latina e Caribe, o que é uma indicação indireta de baixa complexidade econômica. O pagamento de juros da dívida externa (como % das exportações) também está positivamente correlacionado a taxas de homicídio elevadas, uma indicação da precariedade econômica dos países violentos ou de que o ônus da dívida externa limita a capacidade de investimento social dos países endividados, contribuindo indiretamente para altas taxas de homicídio.

Por outro lado, encontramos associações negativas (associações inversas) das taxas de homicídio com o PIB per capita, enfermeiras por 1000 habitantes, renda per capita, gastos com pesquisa e desenvolvimento, gastos com saúde per capita, a porcentagem de população com serviços sanitários, número de pesquisadores e anos de educação secundária. Em outras palavras, quanto melhores e maiores estes indicadores, menores as taxas de homicídios.

Algumas associações são curiosas: por exemplo, observe-se que a porcentagem de imigrantes na população está associada à redução dos homicídios, ao contrário do que se imagina. Isto se deve provavelmente ao fato de que imigrantes são atraídos para países desenvolvidos e à grande quantidade de imigrantes nos países árabes, onde a criminalidade é baixa.

Muitas outras variáveis surgem como significativas com prob < 0,0005 se conjecturarmos que a associação entre as variáveis nem sempre é linear, mas antes uma curva em forma de potência. Neste cenário aumentam os homicídios: alta taxa de mortalidade infantil e mortalidade materna, prevalência de anemia nas crianças abaixo de 5 anos, razão aluno/professor primário, taxa de nascimentos por mil habitantes, porcentagem de alunos com atraso escolar no primário, prevalência de subnutrição na população, porcentagem de empregos na agricultura, porcentagem de empregos femininos vulneráveis e dezenas de outros. Inversamente, diminuem os homicídios um elevado PIB per capita, maiores gastos em saúde per capita, maior porcentagem de população madura, maior investimento estrangeiro direto como porcentagem do PIB e centenas de outros que não é possível descreve neste espaço. Nada menos que 471 indicadores do WDI relevaram-se significativos com probabilidade menor do que 0,0005 quando supomos uma associação em forma de potência, e correlacionamos de forma bivariada com a taxa de homicídios. Obviamente, muitos indicadores são redundantes e medem a mesma coisa (colineares) e é preciso verificar a contribuição específica de cada qual num modelo multivariado. (os dados completos podem ser consultados em https://public.tableau.com/views/correlaescomtaxadehomicidios/linear?:embed=y&:display_count=yes

Mas na maioria das vezes, as correlações e sinais fazem todo o sentido. Os países com menos homicídio são menos desiguais na distribuição da renda, os jovens estudam ou trabalham, a população é mais velha, tem economia complexa e sólida, tem menor pobreza urbana, população mais escolarizada, baixa taxa de gravidez na adolescência, PIB per capita elevado, investem em saúde, condições sanitárias e em pesquisa. É possível especular que estes mesmos indicadores expliquem em parte as diferenças nas taxas de homicídio observadas no Brasil entre o Sudeste e o Nordeste.

Sugerem, finalmente, quais as políticas públicas e investimentos que devem ser feitos para que o Brasil deixe a vergonhosa posição na lista de países mais violentos do mundo. Estas correlações e indícios precisam ser mais bem estudados, mas muitos deles são evidentes. Precisamos claro aperfeiçoar o sistema de justiça criminal, mas o contexto social e econômico brasileiro favorecem altas taxas de criminalidade e neste sentido o melhor sistema de justiça criminal não opera milagres. Existem exceções, mas em linhas gerais e em longo prazo, a redução da violência no país passa necessariamente pela melhoria das condições de vida da população. É o que sugere a experiência internacional dos países que controlaram suas taxas de homicídio. Crescimento econômico com distribuição mais equitativa da renda e investimentos sociais em saúde e educação, em longo prazo, são ainda as melhores políticas de prevenção.






[1] Para se ter uma ideia, um ajuste linear encontra 63 associações significativas entre taxa de homicídios e os indicadores do WDI com probabilidade menor ou igual a 0,0005. Este número de associações significativas sobe para 232 se ajustarmos uma curva polinomial de 2º ordem e para 471 se ajustarmos uma curva em forma de potência.

terça-feira, 26 de junho de 2018


O Banco Mundial coleta cerca de 1500 indicadores sócio econômicos de todo mundo e disponibiliza os dados no projeto WDI desde 2010. O que acontece quando fazemos correlações bivariadas com as taxas de homicídio doloso coletadas pela UNODC ?

Trata-se obviamente de uma primeira exploração da massa de dados mas assim mesmo é possível encontrar pistas interessante sobre indicadores que se correlacionam positiva e negativamente com os homicídios.

É possivel ver os dados completos na aba World Homicides no menu do blog ou explorar as correlações neste link:

https://public.tableau.com/views/correlaescomtaxadehomicidios/Histria1?:retry=yes&:embed=y&:display_count=yes

terça-feira, 19 de junho de 2018

“A culpa é das estrelas”: zodíaco e criminalidade – post 2



Examinamos em outro artigo sobre o mesmo tema as listas de signos mais perigosos e os perigos de uma disciplina que se intitula “astrologia forense”, que se pretende ciência, na visão de seus adeptos.


Independente da crença de cada um sobre a influência dos astros no comportamento humano, o fato é que a partir dos anos 70, centenas de estudos acadêmicos procuraram investigar seriamente a relação entre astrologia e criminalidade, principalmente na área da psicologia, uma vez que a influência dos astros se manifestaria através de certos traços de personalidade. (Burke, 2012; Sachs, 1999; Silverman, 1971). Embora a maioria dos estudos desconfirmem as predições astrológicas, alguns reportam associações significativas (a maioria fracas) entre os signos zodiacais e traços de personalidade ou comportamento. Sachs, por exemplo, é um deles, baseados em estatísticas matrimoniais e criminais da Suíça (Sachs, 1999). Com base em 325 mil sentenças criminais da justiça proferidas entre 1984 e 1996 para 25 diferentes crimes, o autor identificou que 18% das associações entre signos e crimes testadas na análise não se deviam ao acaso: encontrou, por exemplo, uma associação entre tráfico de drogas X capricórnio e peixes, uso ilegal de veículo a motor X sagitário, dirigir sem licença X gêmeos e assim por diante. Outros autores, contudo, reexaminando os mesmos dados e usando critérios estatísticos mais rigorosos, como a correção de Bonferrone, sugerem que a análise de Sachs é equivocada (Von Eye e outros, 2003).

É possível replicar a pesquisa de Sachs com dados brasileiros e fazer um teste empírico da conjectura de que existe uma correlação entre signos e propensões a certos tipos de crimes? Se a econometria pode se dedicar a estes temas curiosos, como em Freakconomics, (Levitt e Dubner, 2005), porque não a criminologia? Para testar a conjectura da associação entre signos e crimes, criei uma rotina no SPSS para extrair o signo de 95 mil averiguados por diversos crimes e cruzei signo com a natureza criminal do averiguado.

Como temos 12 signos, o esperado é que tenhamos 8,33% de suspeitos em cada signo, para cada um dos crimes analisados. Como a tabela mostra, para a maioria dos crimes a distribuição percentual é bastante próxima disso, variando ora pouco acima, ora pouco abaixo. Estas diferenças provavelmente se devem ao acaso e não é possível afirmar que haja uma associação especial entre signos e crimes.




Como sempre ocorre em pesquisas quantitativas, quando o número de linhas e colunas na tabela é grande e quando o volume de casos na amostra diminui, aumenta-se a variabilidade e neste caso encontramos algumas associações estatisticamente significativas entre signos e determinadas modalidades criminosas, como reportado na literatura (Hannigssen, Sachs).

Assim, por exemplo, a tabela sugere uma porcentagem maior do que a esperada de arianos investigados por “receptação dolosa” ou uma porcentagem menor que esperada de capricornianos entre os averiguados por sonegação fiscal. Note-se que quase todas estas associações significativas se manifestam na parte de baixo da tabela, onde a amostra de casos é menor, sugerindo que o número menor de casos faz as porcentagens variarem mais amplamente, produzindo por vezes associações espúrias. Ainda que simplório, o levantamento, corroborando a maior parte da literatura, não traz evidências sólidas de que exista uma associação entre signos solares e comportamento criminoso, mesmo tendo encontrado algumas associações significativas, que costumam aparecer aleatoriamente em estudos quantitativos com tabelas grandes e N pequeno. Numa tabela com 420 células, encontramos associações significativas ( Z > 1.96) em 24 delas, ou 5,7% dos casos. E mesmo quando significativa, não é possível saber se o sinal esperado deveria ser positivo ou negativo, uma vez que não existem predições zodiacais para todos os crimes.

Mesmo supondo que exista uma associação real, fico aqui imaginando quais seriam as implicações lógicas em termos de políticas públicas. Se Áries é o signo da guerra e os arianos tem propensão inata ao crime, devemos considerar que se trata de um atenuante e atribuir penas menores a eles? Se o destino está escrito nos astros e não temos livre-arbítrio podemos também abolir os programas de reinserção social dos criminosos, pois serão gastos inúteis do dinheiro público. Podemos propor talvez a abstenção sexual em certos meses do ano, para que nasçam menos leoninos e assim por ventura reduzir 10% dos furtos? Assim como Gênero ou raça, signo é uma característica impossível de ser modificada e é difícil extrair daí qualquer política pública socialmente útil.

Embora pareça um exercício fútil, estes tipos de estudos, além de curiosos, podem ser bastante úteis para o ensino de metodologia de pesquisa e para apontar para os riscos de se tirar conclusões apressadas com base em evidências estatísticas. Há inúmeros casos de correlações estatísticas significativas e espúrias relatadas no site spurious correlations, como por exemplo, a correlação entre gastos americanos em exploração espacial e suicídios por enforcamento (cientistas se matando pelo corte de despesas?), ou afogamentos em piscinas e número de filmes em que Nicolas Page aparece. Tomando o período de 2000 a 2009, a correlação entre a taxa de divórcio no Maine e o consumo per capta de margarina é de .99 ( casais se divorciam porque homens preferem manteiga?) http://www.tylervigen.com/spurious-correlations.

A diferença é que ninguém acredita nestas correlações enquanto no caso da astrologia uma parcela grande da população mundial não apenas acredita como se deixa influenciar por ela no dia a dia para assuntos amorosos e financeiros. Mais interessante seria a realização de estudos que tentassem compreender as razões destas e outras crenças populares tão arraigadas. Elas levantam sérias dúvidas sobre o pressuposto de racionalidade nas decisões humanas, presentes nas teorias econômicas e outras disciplinas...Esta compreensão sobre os elementos irracionais nas decisões seria muita mais informativa do que a influência dos astros para o nosso conhecimento da personalidade humana.

Bibliografia
• BURKE, Keith. BIG FIVE PERSONALITY TRAITS AND ASTROLOGY: THE RELATIONSHIP BETWEEN THE MOON VARIABLE AND THE NEO PI-R. Tese de doutorado, 2012.
• Campbell, Dave and Brandt Riske, Kris. Forensic Astrology, Nov 24, 2014 e Campbell, Garret. True Crime and Astrology, Jul 9, 2012.
• Crystal, Linda. Jaycee Dugard: How Forensic Astrology Can Help In Abductions May 18, 2015 e Crystal, Linda. The Mystery: Amelia Earhart, The Answers: Forensic Astrology Feb 22, 2015.
• Henningsen, David Dryden and Henningsen, Mary Lynn Miller. It’s not you, it’s Capricorn: Testing Astrological Compatibility as a Predictor of Marital Satisfaction. Northern Illinois University. Human Communication. A Publication of the Pacific and Asian Communication Association. Vol. 16, No. 4, pp.171 - 183.
• Koich Miguel, Fabiano; de Francisco Carvalho, Lucas. Relações entre traços de personalidade mensurados por testes psicológicos e signos astrológicos. Psico-USF, vol. 19, núm. 3*, septiembre-diciembre, 2014, pp. 533-545, Universidade São Francisco, São Paulo, Brasil.
• Levi-Strauss, Claude. O feiticeiro e sua magia.
• Luley, Caroline J Celebrity Mysteries and Cold Cases (Forensic Astrology in Action Book 1) Apr 14, 2016 e Luley, Caroline J. Forensic Astrology For Everyone Workbook 1: Beginners Edition (Volume 1)Aug 10, 2014.
• McIntosh, Kirsty L. Criminal Astrology: Volume I Understanding Crime Charts, Apr 1, 2018.
• Sachs, G. (1999). The astrology file. London: Orion.
• Salerno, B.D. Exploring Forensic Astrology: The Secrets Behind Famous Family Murders, Jun 23, 2016 e Salerno, B.D. Forensics by the Stars: Astrology Investigates, Oct 25, 2012.
• VON EYE, Alexander (VIRGO), LÖSEL, FRIEDRICH (LEO) e MAYZER, Roni (CAPRICORN). Is it all written in the stars? A methodological commentary on Sachs’ astrology monograph and re-analyses of his data on crime statistics. Psychology Science, Volume 45, 2003 (1), p. 78-91

keepinhouse

Arquivo do blog

Seguidores