Por Ranieri Castelar
Série temporal é um tipo de conjunto de dados bastante útil e que tem sido gerado em um volume cada vez maior atualmente. Ele surge ao se indexar um conjunto de dados em relação ao tempo, tipicamente espaçando os pontos pertencentes a este conjunto de forma homogênea.
Como exemplo,
poderíamos citar um equipamento que mede a temperatura de um motor uma vez a
cada segundo e armazena essas informações em relação ao horário em que a
medição foi feita.
O aumento do
volume desse tipo de dado, que é gerado em intervalos cada vez menores e por um
número cada vez maior de equipamentos, fez com que técnicas específicas se
tornassem necessárias para seu armazenamento e manipulação. O surgimento de
soluções de armazenamento especializadas é um dos fatores que representam essa
necessidade.
Neste artigo, discutiremos algumas de suas peculiaridades e também algumas técnicas para seu armazenamento e processamento posterior.
Em próximos artigos, meus colegas, aqui da Daitan, explicarão como estão utilizando séries temporais, por exemplo, para fazer previsões via técnicas de aprendizado de máquina.
Por que a análise de séries temporais é importante?
Esse tipo de
análise pode revelar tendências, padrões sazonais, ou o impacto das mudanças
efetuadas em um produto. Com um volume suficientemente grande de dados, também
é possível perceber que alguns eventos ocorrem após o surgimento de padrões
específicos na série temporal. Essa informação pode ser utilizada para prever
ou para prevenir a ocorrência destes eventos.
Investidores,
por exemplo, costumam utilizar esse tipo de informação durante o processo de
tomada de decisões sobre em que e quando investir seus recursos.
Como essa análise é feita?
Uma das
formas de análise é feita por meio do uso de gráficos. A análise visual permite
que o analista identifique padrões e absorva informações relevantes
rapidamente. Nesse caso, a clareza com que os dados são exibidos se torna
importante, já que a existência de ruído pode dificultar ou impedir a identificação
de uma estrutura interna.
O impacto
causado pelo ruído é normalmente diminuído por meio de técnicas como Médias Móveis
ou Suavização Exponencial.
A utilização desse tipo de técnica impede que mudanças bruscas - porém de curta
duração - tenham um impacto significativo na série temporal, pois o valor do
próximo ponto a ser adicionado à série leva em conta o valor dos pontos anteriores.
No caso da
técnica de Suavização Exponencial, os valores antigos são considerados com um
peso cada vez menor, de forma que pontos atuais tenham maior impacto sobre os
próximos valores adicionados. Se relevante, o uso de SVMs (support vector machines, uma técnica de
aprendizado de máquina) e modelos similares também permite que regressões não
lineares possam ser aplicadas de forma relativamente simples.
O modo com
que as séries são dispostas também pode impactar a clareza da análise. Os
gráficos devem ir direto ao ponto, sem apresentar informação desnecessária, e
devem ser pensados de forma que a informação buscada obtenha posição de
destaque.
Mapas de
calor, gráficos de barra e outros tipos de visualização devem ser considerados,
mesmo que exista uma tendência a se utilizar um conjunto de gráficos de linha
ao se lidar com séries temporais.
Redes Neurais
Recorrentes (e outros tipos de modelos de aprendizado de máquina) também podem
ser utilizados quando se existe um desejo de se realizar previsões ou detectar
anomalias sem intervenção humana.
Disparar um
alarme quando um valor X ultrapassa um limiar predeterminado é simples e útil
em diversas situações, porém muitas vezes a detecção de anomalias requer um
processo um pouco mais sofisticado.
Quais são as particularidades do uso de séries temporais?
Em uma série
temporal, informações já coletadas não costumam ser modificadas, e novos dados
são inseridos no final da série. Além disso, consultas são feitas sobre um
intervalo contínuo da mesma.
Ferramentas
de armazenamento como o TimescaleDB ou InfluxDB
são projetadas para tirar vantagem dessas propriedades, evitando que o
desempenho de armazenamento e consulta se degrade com um aumento no volume de
dados.
Para que a
análise dos dados seja executada de forma responsiva, este tipo de ferramenta
deve prover consultas baseadas em tempo rápidas e de simples utilização, mesmo
que a quantidade de linhas armazenadas aumente consideravelmente. Se possível,
a capacidade de se executar consultas multidimensionais deve ser preservada.
Bancos de
dados tradicionais costumam utilizar uma estrutura conhecida como Árvore B para indexar
o conteúdo de suas tabelas, permitindo inserções em “complexidade computacional
logarítmica” – o que significa que a complexidade cresce proporcionalmente ao
logaritmo do número de linhas.
Soluções
otimizadas para séries temporais evitam esse tipo de indexação, dando
preferência para o uso de tabelas Hash,
com inserções de custo computacional constante (ou seja, independente do número
de linhas).
Além disso,
como consultas às séries temporais são normalmente executadas sob um intervalo
contínuo de tempo, estas soluções podem fazer uso do conceito de chunks. Basicamente, ao invés de
armazenar todos os dados de uma série em uma única tabela, esta série é
dividida em períodos específicos de tempo, e os dados de cada período são armazenados
em tabelas separadas. Isso é transparente para o usuário, já que a complexidade
adicional é abstraída. O TimeScaleDB, por exemplo, executa essa
abstração por meio de “HyperTables”.
Indexar a
posição das tabelas e não a posição dos dados, mantendo índices internos a cada
tabela, permite que consultas a qualquer período de tempo sejam feitas
rapidamente, e evita degradação de performance.
Como novas
entradas são sempre adicionadas à tabela mais recente, já que normalmente não
há inserções em uma data passada, os custos de se manter esse tipo de estrutura
são minimizados.
Remoções
também podem se tornar mais rápidas, pois é possível remover tabelas inteiras
ao invés dos dados contidos nessas tabelas. Paralelização pode ser obtida ao se
recuperar dados de vários chunks
simultaneamente, principalmente se estes chunks
estiverem distribuídos entre diferentes discos.
Mesmo com as
peculiaridades das séries temporais, esse tipo de estrutura ainda apresenta um
custo. O aumento da complexidade implica que consultas a entidades específicas
serão mais lentas, e possíveis ganhos em relação ao desempenho podem não
aparecer até que os dados atinjam um volume considerável. Além disso, outras
considerações devem ser feitas: O tamanho dos chunks deve se manter suficientemente pequeno para que eles possam
ser carregados inteiramente para a memória RAM, por exemplo.
Outro ponto
diz respeito à filtragem e suavização da série. Enquanto a filtragem de ondas
sonoras ou sinais elétricos (que podem ser descritos como séries temporais)
visa a completa remoção do ruído, isso pode não ser aconselhado ao trabalharmos
com dados. O uso desse tipo de técnica pode fazer com que informações que
poderiam auxiliar no processo de análise também sejam removidas. Devido a isso,
métodos como Transformada Rápida de
Fourier devem ser aplicados com cuidado.
Conclusão
Séries temporais são conjuntos de dados cujo volume e importância vêm aumentando consistentemente. Um dos principais motivos é o surgimento da internet das coisas (IoT), porém o aumento do volume de equipamentos automatizados e aplicações cuja “saúde” interna queremos monitorar – como computadores e celulares – também contribuem para isso. Neste artigo discutimos algumas das particularidades de séries temporais e técnicas para melhor coletar, armazenar e processar esse tipo de dado. Continuaremos a tratar desse assunto em próximos posts. Fique atento!
Ranieri é estagiário do time de Innovation na Daitan e estuda informática na Unicamp.
