Tuesday 6 March 2018

Série de média em movimento


Médias móveis Médias móveis Com conjuntos de dados convencionais, o valor médio é geralmente o primeiro, e um dos mais úteis, estatísticas de resumo a serem calculadas. Quando os dados são na forma de uma série temporal, a série significa uma medida útil, mas não reflete a natureza dinâmica dos dados. Os valores médios calculados em períodos curtos, quer antes do período atual ou centrados no período atual, são geralmente mais úteis. Como esses valores médios variam, ou se movem, à medida que o período atual se move do tempo t 2, t 3. etc., eles são conhecidos como médias móveis (Mas). Uma média móvel simples é (tipicamente) a média não ponderada de k valores anteriores. Uma média móvel ponderada exponencialmente é essencialmente a mesma que uma média móvel simples, mas com contribuições para a média ponderada pela proximidade com a hora atual. Como não há um, mas toda uma série de médias móveis para qualquer série, o conjunto de Mas pode ser plotado em gráficos, analisados ​​como uma série e usados ​​em modelagem e previsão. Uma série de modelos pode ser construída usando médias móveis, e estas são conhecidas como modelos MA. Se esses modelos forem combinados com modelos autorregressivos (AR), os modelos compostos resultantes são conhecidos como modelos ARMA ou ARIMA (o I é para integrado). Médias móveis simples Uma vez que uma série temporal pode ser considerada como um conjunto de valores, t 1,2,3,4, n a média desses valores pode ser calculada. Se assumirmos que n é bastante grande, e selecionamos um inteiro k, que é muito menor do que n. Podemos calcular um conjunto de médias de bloco, ou médias móveis simples (da ordem k): cada medida representa a média dos valores de dados ao longo de um intervalo de observações k. Observe que o primeiro MA possível da ordem k gt0 é aquele para t k. Mais geralmente podemos soltar o subíndice extra nas expressões acima e escrever: Isto indica que a média estimada no tempo t é a média simples do valor observado no tempo t e os passos de tempo precedentes de k-1. Se forem aplicados pesos que diminuam a contribuição das observações que estão mais longe no tempo, a média móvel é dito suavizar exponencialmente. As médias móveis são freqüentemente usadas como forma de previsão, pelo que o valor estimado para uma série no instante t 1, S t1. É tomado como MA durante o período até e inclusive o tempo t. por exemplo. A estimativa de hoje é baseada em uma média de valores previamente registrados até e inclusive ontem (para dados diários). As médias móveis simples podem ser vistas como uma forma de suavização. No exemplo ilustrado abaixo, o conjunto de dados de poluição do ar mostrado na introdução deste tópico foi aumentado por uma linha de média móvel de 7 dias (MA), mostrada aqui em vermelho. Como pode ser visto, a linha MA suaviza os picos e as depressões nos dados e pode ser muito útil na identificação de tendências. A fórmula de cálculo de frente padrão significa que os primeiros pontos de dados de k -1 não possuem valor de MA, mas, posteriormente, os cálculos se estendem ao ponto de dados final da série. PM10 valores médios diários, Greenwich fonte: London Air Quality Network, londonair. org. uk Um dos motivos para o cálculo de médias móveis simples da maneira descrita é que ele permite que os valores sejam computados para todos os intervalos de tempo do tempo tk até o presente, e Como uma nova medida é obtida para o tempo t 1, o MA para o tempo t 1 pode ser adicionado ao conjunto já calculado. Isso fornece um procedimento simples para conjuntos de dados dinâmicos. No entanto, existem algumas questões com essa abordagem. É razoável argumentar que o valor médio nos últimos 3 períodos, por exemplo, deve estar localizado no tempo t -1, e não no tempo t. E para um MA em um número par de períodos, talvez ele deve estar localizado no meio do ponto entre dois intervalos de tempo. Uma solução para esta questão é usar cálculos de MA centrados, nos quais o MA no tempo t é a média de um conjunto simétrico de valores em torno de t. Apesar de seus méritos óbvios, essa abordagem não é geralmente usada, pois exige que os dados estejam disponíveis para eventos futuros, o que pode não ser o caso. Nos casos em que a análise é inteiramente de uma série existente, o uso de Mas centrado pode ser preferível. As médias móveis simples podem ser consideradas como uma forma de suavização, eliminando alguns componentes de alta freqüência de uma série de tempo e destacando (mas não removendo) as tendências de maneira similar à noção geral de filtragem digital. De fato, as médias móveis são uma forma de filtro linear. É possível aplicar uma computação média móvel a uma série que já foi suavizada, ou seja, suavizando ou filtrando uma série já suavizada. Por exemplo, com uma média móvel da ordem 2, podemos considerá-la como sendo computada usando pesos, de modo que o MA em x 2 0,5 x 1 0,5 x 2. Do mesmo modo, o MA em x 3 0,5 x 2 0,5 x 3. Se nós Aplicar um segundo nível de suavização ou filtragem, temos 0,5 x 2 0,5 x 3 0,5 (0,5 x 1 0,5 x 2) 0,5 (0,5 x 2 0,5 x 3) 0,25 x 1 0,5 x 2 0,25 x 3, ou seja, a filtragem de 2 estágios O processo (ou convolução) produziu uma média móvel simétrica ponderada de forma variável, com pesos. Várias convoluções podem produzir médias móveis bastante ponderadas, algumas das quais foram encontradas de particular uso em campos especializados, como nos cálculos do seguro de vida. As médias móveis podem ser usadas para remover efeitos periódicos se computados com o comprimento da periodicidade como conhecido. Por exemplo, com os dados mensais, as variações sazonais podem muitas vezes ser removidas (se este for o objetivo), aplicar uma média móvel simétrica de 12 meses com todos os meses ponderados igualmente, exceto o primeiro e o último que são ponderados por 12. Isso ocorre porque haverá Ter 13 meses no modelo simétrico (tempo atual, t. - 6 meses). O total é dividido por 12. Procedimentos similares podem ser adotados para qualquer periodicidade bem definida. Médias móveis ponderadas exponencialmente (EWMA) Com a fórmula média móvel simples: todas as observações são igualmente ponderadas. Se chamássemos esses pesos iguais, alfa t. Cada um dos pesos k seria igual a 1 k. Então a soma dos pesos seria de 1, e a fórmula seria: já vimos que as múltiplas aplicações desse processo resultam na variação dos pesos. Com médias móveis exponencialmente ponderadas, a contribuição para o valor médio de observações mais removidas no tempo é deliberada reduzida, enfatizando eventos mais recentes (locais). Essencialmente, um parâmetro de suavização, 0lt alfa lt1, e a fórmula revisada para: Uma versão simétrica desta fórmula seria da forma: se os pesos no modelo simétrico forem selecionados como os termos dos termos da expansão binomial, (1212) 2q. Eles somarão para 1, e como q se tornar grande, irá se aproximar da distribuição Normal. Esta é uma forma de ponderação do kernel, com o Binomial atuando como a função do kernel. A convolução de dois estágios descrita na subseção anterior é precisamente esse arranjo, com q 1, produzindo os pesos. Em suavização exponencial, é necessário usar um conjunto de pesos que somem para 1 e que reduzem de tamanho geométricamente. Os pesos utilizados são geralmente da forma: Para mostrar que esses pesos somam para 1, considere a expansão de 1 como uma série. Podemos escrever e expandir a expressão entre parênteses usando a fórmula binomial (1- x) p. Onde x (1-) e p -1, que dá: Isto fornece uma forma de média móvel ponderada da forma: Este somatório pode ser escrito como uma relação de recorrência: o que simplifica bastante a computação e evita o problema de que o regime de ponderação Deve ser estritamente infinito para que os pesos somem para 1 (para valores pequenos de alfa. Isso geralmente não é o caso). A notação utilizada por diferentes autores varia. Alguns usam a letra S para indicar que a fórmula é essencialmente uma variável suavizada e escreve: enquanto a literatura da teoria do controle geralmente usa Z ao invés de S para valores ponderados exponencialmente ou suavizados (veja, por exemplo, Lucas e Saccucci, 1990, LUC1 , E o site NIST para mais detalhes e exemplos trabalhados). As fórmulas citadas acima derivam do trabalho de Roberts (1959, ROB1), mas Hunter (1986, HUN1) usa uma expressão da forma: que pode ser mais apropriada para uso em alguns procedimentos de controle. Com alfa 1, a estimativa média é simplesmente seu valor medido (ou o valor do item de dados anterior). Com 0,5 a estimativa é a média móvel simples das medições atual e anterior. Nos modelos de previsão, o valor, S t. É freqüentemente usado como estimativa ou valor de previsão para o próximo período de tempo, ou seja, como a estimativa para x no tempo t 1. Assim, temos: Isso mostra que o valor de previsão no tempo t 1 é uma combinação da média móvel ponderada exponencialmente anterior Mais um componente que representa o erro de previsão ponderado, epsilon. No tempo t. Assumindo que uma série de tempo é fornecida e uma previsão é necessária, é necessário um valor para alfa. Isso pode ser estimado a partir dos dados existentes, avaliando a soma dos erros de predição quadrados obtidos com valores variáveis ​​de alfa para cada t 2,3. Definindo a primeira estimativa para ser o primeiro valor de dados observado, x 1. Nas aplicações de controle, o valor de alfa é importante, isto é, é usado na determinação dos limites de controle superior e inferior e afeta o comprimento de execução médio (ARL) esperado Antes que esses limites de controle sejam quebrados (sob o pressuposto de que a série temporal representa um conjunto de variáveis ​​independentes aleatoriamente, distribuídas de forma idêntica com variância comum). Nessas circunstâncias, a variância da estatística de controle: é (Lucas e Saccucci, 1990): Os limites de controle geralmente são definidos como múltiplos fixos desta variância assintótica, e. - 3 vezes o desvio padrão. Se alfa 0.25, por exemplo, e os dados que estão sendo monitorados assumem ter uma distribuição Normal, N (0,1), quando no controle, os limites de controle serão - 1.134 e o processo atingirá um ou outro limite em 500 etapas na média. Lucas e Saccucci (1990 LUC1) derivam os ARLs para uma ampla gama de valores alfa e sob vários pressupostos usando os procedimentos da Cadeia de Markov. Eles tabulam os resultados, incluindo o fornecimento de ARL quando a média do processo de controle foi deslocada por algum múltiplo do desvio padrão. Por exemplo, com uma mudança de 0,5 com alfa 0.25, o ARL tem menos de 50 etapas de tempo. As abordagens descritas acima são conhecidas como suavização exponencial única. Uma vez que os procedimentos são aplicados uma vez na série temporal e, em seguida, os processos de análise ou controle são realizados no conjunto de dados suavizado resultante. Se o conjunto de dados incluir uma tendência e / ou componentes sazonais, o alisamento exponencial de dois ou três estágios pode ser aplicado como meio de remoção (modelagem explícita) desses efeitos (veja mais adiante, a seção sobre Previsão abaixo e o exemplo do NIST). CHA1 Chatfield C (1975) The Analysis of Times Series: Teoria e Prática. Chapman and Hall, London HUN1 Hunter J S (1986) A média móvel ponderada exponencialmente. J of Quality Technology, 18, 203-210 LUC1 Lucas J M, Saccucci M S (1990) Esquemas de controle de média móvel ponderada exponencialmente: propriedades e aprimoramentos. Technometrics, 32 (1), 1-12 ROB1 Roberts S W (1959) Testes de gráficos de controle baseados em médias móveis geométricas. Technometrics, 1, 239-250Simagem de dados remove a variação aleatória e mostra tendências e componentes cíclicos. Inércia na coleta de dados obtidos ao longo do tempo é alguma forma de variação aleatória. Existem métodos para reduzir o cancelamento do efeito devido a variação aleatória. Uma técnica freqüentemente usada na indústria é suavização. Esta técnica, quando corretamente aplicada, revela mais claramente a tendência subjacente, os componentes sazonais e cíclicos. Existem dois grupos distintos de métodos de suavização Métodos de média Métodos de suavização exponencial Tomar médias é a maneira mais simples de suavizar os dados Em primeiro lugar, investigaremos alguns métodos de média, como a média simples de todos os dados passados. Um gerente de um armazém quer saber o quanto um fornecedor típico entrega em unidades de 1000 dólares. Heshe toma uma amostra de 12 fornecedores, aleatoriamente, obtendo os seguintes resultados: A média ou média calculada dos dados 10. O gerente decide usar isso como a estimativa de despesas de um fornecedor típico. É uma estimativa boa ou ruim O erro quadrático médio é uma maneira de julgar o quão bom é um modelo. Calculamos o erro quadrático médio. O valor do erro verdadeiro gasto menos o valor estimado. O erro ao quadrado é o erro acima, ao quadrado. O SSE é a soma dos erros quadrados. O MSE é a média dos erros quadrados. Resultados de MSE, por exemplo, os resultados são: Erros de Erro e Esquadrão A estimativa 10 A questão surge: podemos usar a média para prever a renda se suspeitarmos de uma tendência. Um olhar no gráfico abaixo mostra claramente que não devemos fazer isso. A média pesa todas as observações passadas igualmente. Em resumo, afirmamos que a média ou média simples de todas as observações passadas é apenas uma estimativa útil para a previsão quando não há tendências. Se houver tendências, use diferentes estimativas que levem em consideração a tendência. A média pesa igualmente todas as observações passadas. Por exemplo, a média dos valores 3, 4, 5 é 4. Sabemos, é claro, que uma média é calculada adicionando todos os valores e dividindo a soma pelo número de valores. Outra maneira de calcular a média é adicionando cada valor dividido pelo número de valores, ou 33 43 53 1 1.3333 1.6667 4. O multiplicador 13 é chamado de peso. Em geral: barra frac somleft (fração direita) x1 esquerda (fração direita) x2,. , Esquerda (fratura direita) xn. Os (a esquerda (fração à direita)) são os pesos e, é claro, somam para 1.5.2 Smoothing Time Series Smoothing geralmente é feito para nos ajudar a melhorar padrões, tendências, por exemplo, em séries temporais. Geralmente suavizar a rugosidade irregular para ver um sinal mais claro. Para dados sazonais, podemos suavizar a sazonalidade para que possamos identificar a tendência. O Smoothing não nos fornece um modelo, mas pode ser um bom primeiro passo na descrição de vários componentes da série. O termo filtro às vezes é usado para descrever um procedimento de suavização. Por exemplo, se o valor suavizado para um determinado horário é calculado como uma combinação linear de observações para os tempos circundantes, pode-se dizer que aplicamos um filtro linear aos dados (não o mesmo que dizer que o resultado é uma linha reta, por o caminho). O uso tradicional do termo média móvel é que, em cada ponto no tempo, determinamos médias (possivelmente ponderadas) dos valores observados que circundam um determinado momento. Por exemplo, no momento t. Uma média móvel centrada de comprimento 3 com pesos iguais seria a média de valores às vezes t -1. T. E t1. Para tirar a sazonalidade de uma série, para que possamos melhor ver a tendência, usaríamos uma média móvel com um período de duração prolongado. Assim, na série suavizada, cada valor suavizado foi calculado em média em todas as estações. Isso pode ser feito observando uma média móvel unilateral em que você mede todos os valores para os anos anteriores de dados ou uma média móvel centrada na qual você usa valores antes e depois da hora atual. Para dados trimestrais, por exemplo, podemos definir um valor suavizado para o tempo t como (x t x t-1 x t-2 x t-3) 4, a média desse tempo e os 3 trimestres anteriores. No código R, este será um filtro unilateral. Uma média móvel centrada cria um pouco de dificuldade quando temos um número par de períodos de tempo no período sazonal (como costumamos fazer). Para suavizar a sazonalidade em dados trimestrais. Para identificar a tendência, a convenção usual é usar a média móvel alisada no tempo t é Suavizar a sazonalidade nos dados mensais. Para identificar a tendência, a convenção usual é usar a média móvel suavizada no tempo t é. Isto é, aplicamos o peso 124 aos valores às vezes t6 e t6 e peso 112 a todos os valores em todos os momentos entre t5 e t5. No comando R filter, bem, especifique um filtro de frente e verso quando quisermos usar valores que venham antes e depois do tempo para o qual foram suavizados. Note-se que, na página 71 do nosso livro, os autores aplicam pesos iguais em uma média móvel sazonal centrada. Isso também está bem. Por exemplo, um aumento trimestral pode ser alisado no tempo t é frac x frac x frac xt frac x frac x Um mensageiro mensal pode aplicar um peso de 113 a todos os valores entre os tempos t-6 e t6. O código que os autores usam na página 72 aproveita o comando rep que repete um valor um certo número de vezes. Eles não usam o parâmetro de filtro dentro do comando do filtro. Exemplo 1 Produção trimestral de cerveja na Austrália Na lição 1 e na Lição 4, analisamos uma série de produção trimestral de cerveja na Austrália. O código R que se segue cria uma série suavizada que nos permite ver o padrão de tendência e traça esse padrão de tendência no mesmo gráfico que as séries temporais. O segundo comando cria e armazena a série suavizada no objeto chamado trendpattern. Note-se que dentro do comando do filtro, o parâmetro chamado filtro dá os coeficientes para o nosso alisamento e os lados 2 provoca o cálculo de um ponto focal centrado. Beerprod scan (beerprod. dat) trendpattern filter (beerprod, filtro c (18, 14, 14, 14, 18), sides2) trama (beerprod, tipo b, principal tendência média móvel) linhas (trendpattern) Heres o resultado: Nós Pode subtrair o padrão de tendência dos valores de dados para obter uma melhor visão da sazonalidade. Heres como isso seria feito: Seasonals beerprod - traço trendpattern (seasonals, tipo b, padrão sazonal principal para a produção de cerveja) O resultado segue: Outra possibilidade para a série de suavização ver tendência é o filtro one-sided filterpattern2 filter (beerprod, filtro c (14, 14, 14, 14), lados1) Com isso, o valor suavizado é a média do ano passado. Exemplo 2. Desemprego mensal dos EUA Na tarefa de casa para a semana 4, você analisou uma série mensal de desemprego dos EUA em 1948-1978. Heres um alisamento feito para olhar a tendência. (Trendplemploy, mainstreaming, United States), 1948-1978, xlab Year) Somente a tendência suavizada é plotada. O segundo comando identifica as características do tempo do calendário da série. Isso faz com que o enredo tenha um eixo mais significativo. A trama segue. Para séries não sazonais, você não deve suavizar qualquer extensão específica. Para suavizar, você deve experimentar as médias móveis de diferentes intervalos. Esses períodos de tempo podem ser relativamente curtos. O objetivo é eliminar as bordas ásperas para ver qual tendência ou padrão podem estar lá. Outros Métodos de Suavização (Seção 2.4) A Seção 2.4 descreve várias alternativas sofisticadas e úteis para o alisamento médio móvel. Os detalhes podem parecer incompletos, mas isso é bom porque não queremos ficar atolados em muitos detalhes para esses métodos. Dos métodos alternativos descritos na Seção 2.4, lowess (regressão ponderada localmente) pode ser o mais utilizado. Exemplo 2 Continua O traçado seguinte é linha de tendência suavizada para a série de desemprego dos Estados Unidos, encontrada usando um método mais suave, em que uma quantidade substancial (23) contribuiu para cada estimativa suavizada. Observe que isso suavizou a série de forma mais agressiva do que a média móvel. Os comandos utilizados foram desempregados (desemprego, começo c (1948,1), freq12) trama (lowess (desempregado, f 23), alavanca Lowess principal da tendência de desemprego dos EUA) Suavização exponencial única A equação básica de previsão para suavização exponencial é freqüentemente Dado como hatalpha xt (1-alpha) hat t text Previstamos o valor de x no tempo t1 para ser uma combinação ponderada do valor observado no tempo t e o valor previsto no tempo t. Embora o método seja chamado de método de suavização, é usado principalmente para previsões de curto prazo. O valor de é chamado de constante de suavização. Por qualquer motivo, 0.2 é uma escolha padrão popular de programas. Isso coloca um peso de .2 na observação mais recente e um peso de 1 .2 .8 na previsão mais recente. Com um valor relativamente pequeno, o alisamento será relativamente mais extenso. Com um valor relativamente grande, o alisamento é relativamente menos extenso à medida que mais peso será colocado no valor observado. Este é um método de previsão simples de um passo para a frente que, a primeira vista, parece não exigir um modelo para os dados. De fato, esse método é equivalente ao uso de um modelo ARIMA (0,1,1) sem constante. O procedimento ideal é ajustar um modelo ARIMA (0,1,1) ao conjunto de dados observado e usar os resultados para determinar o valor de. Isso é ótimo no sentido de criar o melhor para os dados já observados. Embora o objetivo seja o alisamento e a previsão um passo a frente, a equivalência ao modelo ARIMA (0,1,1) traz um bom ponto. Não devemos aplicar cegamente o alisamento exponencial porque o processo subjacente pode não ser bem modelado por um ARIMA (0,1,1). ARIMA (0,1,1) e Equivalência de Suavização Exponencial Considere um ARIMA (0,1,1) com média0 para as primeiras diferenças, xt - x t-1: start hat amp amp xt theta1 wt amp amp xt theta1 (xt - Hat t) amp amp (1 theta1) xt - theta1hat tende. Se deixarmos (1 1) e assim - (1) 1, vemos a equivalência com a equação (1) acima. Por que o Método é Chamado Suavização Exponencial Isso produz o seguinte: begin hat amp amp alpha xt (1-alpha) alpha x (1-alpha) hatamp amplificador alpha xt alfa (1-alfa) x (1-alfa) 2hat final Continuar em Desta forma, substituindo sucessivamente o valor previsto no lado direito da equação. Isso leva a: hatalpha xt alfa (1-alfa) x alfa (1-alfa) 2 x pontos alfa (1-alfa) jx pontos alfa (1-alfa) x1 texto A equação 2 mostra que o valor previsto é uma média ponderada de Todos os valores passados ​​da série, com pesos exponencialmente variáveis ​​à medida que avançamos na série. Suavização exponencial otimizada em R Basicamente, nós apenas encaixamos um ARIMA (0,1,1) nos dados e determinamos o coeficiente. Podemos examinar o ajuste do liso, comparando os valores previstos com a série real. O suavizado exponencial tende a ser usado mais como uma ferramenta de previsão do que um verdadeiro mais suave, então procurava ver se nós temos um bom ajuste. Exemplo 3. N 100 observações mensais do logaritmo de um índice de preços do petróleo nos Estados Unidos. A série de dados é: Um ajuste ARIMA (0,1,1) em R deu um coeficiente MA (1) 0,3877. Assim (1 1) 1.3877 e 1--0.3877. A equação de previsão de suavização exponencial é hat1.3877xt - 0.3877hat t No momento 100, o valor observado da série é x 100 0.86601. O valor previsto para a série nesse momento é, portanto, a previsão para o tempo 101 é hat1.3877x - 0.3877hat1.3877 (0.86601) -0.3877 (0.856789) 0.8696 A seguir, é o quão bem o mais suave se encaixa na série. É um bom ajuste. Isso é um bom sinal para a previsão, o objetivo principal para este mais suave. Aqui estão os comandos usados ​​para gerar a saída para este exemplo: planilha oilindex scan (oildata. dat) (oilindex, tipo b, Main Log of Oil Index Series) expsmoothfit arima (oilindex, order c (0,1,1)) expsmoothfit Para ver os resultados de arima previstos para indexação de óleo - lances de crescimento de planos previstos (linhas de indexação de óleo (indexação de óleo, tipo, alinhamento exponencial principal de índice de óleo) 1.3877oilindex100-0.3877predicteds100 previsão de tempo 101 Suavização exponencial dupla O suavização exponencial dupla pode ser usada quando há Tendência (longa ou curta corrida), mas sem sazonalidade. Essencialmente, o método cria uma previsão combinando estimativas exponencialmente suavizadas da tendência (inclinação de uma linha reta) e do nível (basicamente, a interceptação de uma linha reta). Dois pesos diferentes, ou parâmetros de suavização, são usados ​​para atualizar esses dois componentes em cada momento. O nível suavizado é mais ou menos equivalente a um alisamento exponencial simples dos valores de dados e a tendência suavizada é mais ou menos equivalente a um alisamento exponencial simples das primeiras diferenças. O procedimento é equivalente ao encaixe de um modelo ARIMA (0,2,2), sem constante pode ser realizada com um ajuste ARIMA (0,2,2). (1-B) 2 xt (1 theta1B theta2B2) wt. Navegação

No comments:

Post a Comment