Twitter API

O Twitter é dividido em três distintas APIs (Application Programming Interfaces). As mais utilizadas para análise estatística são a Search API e a Streaming API. A Search API faz um REST URL e pode ser acessada com um simples HTTP GET. Ela pode trabalhar em conjunto com a Streaming API, permitindo assim a coleta de tuítes ao vivo e também a busca no banco de dados do Twitter.

O projeto Ecologia Digital utiliza uma plataforma própria, desenvolvida para coletar dados utilizando diversos métodos nas três APIs do Twitter e integrá-los de múltiplas formas, permitindo flexibilidade na análise posterior. Os tipos de dados incluem informações básicas a respeito dos tuítes e dos usuários, assim como dados sociais relativos à topografia das redes.

Os principais desafios foram, nesta fase inicial, obter dados confiáveis e garantir um fluxo constante de grandes quantidades de bits. Para isso, conectamos nossa plataforma ao programa YourTwapperKeeper e utilizamos IPs incluídos em uma lista de exceção (whitelistened IP). Essa lista especial permite aos nossos servidores fazerem até 20 mil API requests por hora, o que é suficiente para a extração de todos os dados necessários à análise desse projeto.