Imputação estatística para valores em falta na aprendizagem de máquinas

Última atualização em 18 de agosto de 2020

Dadosets podem ter valores em falta, e isso pode causar problemas para muitos algoritmos de aprendizagem de máquinas.

Assim, é uma boa prática identificar e substituir valores em falta para cada coluna nos dados de entrada antes de modelar a sua tarefa de previsão. Isto é chamado de imputação de dados ausentes, ou imputação para abreviar.

Uma abordagem popular para a imputação de dados é calcular um valor estatístico para cada coluna (como uma média) e substituir todos os valores ausentes para aquela coluna com a estatística. É uma abordagem popular porque a estatística é fácil de calcular usando o conjunto de dados de treinamento e porque muitas vezes resulta em bom desempenho.

Neste tutorial, você descobrirá como usar estratégias de imputação estatística para dados ausentes na aprendizagem de máquinas.

Após completar este tutorial, você saberá:

• Valores ausentes devem ser marcados com valores NaN e podem ser substituídos por medidas estatísticas para calcular a coluna de valores.
• Como carregar um valor CSV com valores ausentes e marcar os valores ausentes com valores NaN e informar o número e percentagem de valores ausentes para cada coluna.
• Como imputar valores ausentes com estatísticas como método de preparação de dados ao avaliar modelos e ao encaixar um modelo final para fazer previsões sobre novos dados.

Primeiro arranque do seu projecto com o meu novo livro Data Preparation for Machine Learning, incluindo tutoriais passo-a-passo e os ficheiros de código fonte Python para todos os exemplos.

Vamos começar.

• Actualizado Jun/2020: Alterada a coluna utilizada para previsão em exemplos.

Visão geral do tutorial

Este tutorial está dividido em três partes; elas são:

1. Imputação Estática
2. Dados de Cólicas de Cavalo
3. Imputação Estática Com SimpleImputer
   1. Transformação de Dados SimpleImputer
   2. SimpleImputer e Avaliação de Modelos
   3. Comparando Diferentes Estatísticas Imputadas
   4. SimplesImputer Transform When Making a Prediction

Imputação Estatística

Um conjunto de dados pode ter valores em falta.

>

Estas são linhas de dados onde um ou mais valores ou colunas naquela linha não estão presentes. Os valores podem estar faltando completamente ou podem estar marcados com um caracter ou valor especial, como um ponto de interrogação “?”.

Estes valores podem ser expressos de várias maneiras. Já os vi aparecerem como nada , uma string vazia , a string explícita NULL ou indefinida ou N/A ou NaN, e o número 0, entre outros. Não importa como eles aparecem em seu conjunto de dados, sabendo o que esperar e verificando para ter certeza de que os dados correspondem a essa expectativa irá reduzir problemas à medida que você começar a usar os dados.

– Página 10, Bad Data Handbook, 2012.

Valores podem estar faltando por muitas razões, muitas vezes específicas para o domínio do problema, e podem incluir razões como medições corruptas ou indisponibilidade de dados.

Podem ocorrer por uma série de razões, tais como mau funcionamento do equipamento de medição, alterações no projeto experimental durante a coleta de dados e compilação de vários conjuntos de dados semelhantes, mas não idênticos.

– Página 63, Data Mining: Ferramentas e Técnicas Práticas de Aprendizagem de Máquinas, 2016.

Mais avançados algoritmos de aprendizagem de máquinas requerem valores de entrada numéricos, e um valor para estar presente em cada linha e coluna de um conjunto de dados. Como tal, valores ausentes podem causar problemas para algoritmos de aprendizagem de máquinas.

Como tal, é comum identificar valores ausentes num conjunto de dados e substituí-los por um valor numérico. Isto é chamado imputação de dados, ou imputação de dados ausentes.

Uma abordagem simples e popular à imputação de dados envolve o uso de métodos estatísticos para estimar um valor para uma coluna a partir daqueles valores que estão presentes, em seguida, substituir todos os valores ausentes na coluna com a estatística calculada.

É simples porque as estatísticas são rápidas de calcular e é popular porque muitas vezes se mostra muito eficaz.

As estatísticas comuns calculadas incluem:

• O valor médio da coluna.
• O valor médio da coluna.
• O valor do modo coluna.
• Um valor constante.

Agora estamos familiarizados com métodos estatísticos para imputação de valores ausentes, vamos dar uma olhada em um conjunto de dados com valores ausentes.

Quer começar com a preparação de dados?

Tomar meu curso crash de 7 dias grátis por e-mail agora (com código de amostra).

Clique para se inscrever e também obter uma versão PDF Ebook grátis do curso.

Download Your FREE Mini-Course

Horse Colic Dataset

O conjunto de dados de cólicas em cavalos descreve as características médicas dos cavalos com cólicas e se eles viveram ou morreram.

Existem 300 linhas e 26 variáveis de entrada com uma variável de saída. É uma tarefa de previsão de classificação binária que envolve prever 1 se o cavalo viveu e 2 se ele morreu.

Existem muitos campos que poderíamos selecionar para prever neste conjunto de dados. Neste caso, vamos prever se o problema foi cirúrgico ou não (índice da coluna 23), tornando-o um problema de classificação binária.

O conjunto de dados tem inúmeros valores em falta para muitas das colunas onde cada valor em falta é marcado com um ponto de interrogação (“?”).

Below fornece um exemplo de linhas do conjunto de dados com valores em falta marcados.

Você pode aprender mais sobre o conjunto de dados aqui:

• Dataset de Cólicas de Cavalo
• Dataset de Cólicas de Cavalo Descrição

Não é necessário fazer o download do conjunto de dados, pois nós o faremos automaticamente nos exemplos trabalhados.

Marcar valores ausentes com um valor NaN (não um número) em um conjunto de dados carregado usando Python é uma melhor prática.

Podemos carregar o conjunto de dados usando a função read_csv() Pandas e especificar os “na_values” para carregar valores de ‘?como faltando, marcado com um valor naN.

Once loaded, podemos rever os dados carregados para confirmar que “?” são marcados como NaN.

Podemos então enumerar cada coluna e reportar o número de linhas com valores em falta para a coluna.

Aplicando isto, o exemplo completo de carregamento e resumo do conjunto de dados está listado abaixo.

Executar o exemplo primeiro carrega o conjunto de dados e resume as primeiras cinco linhas.

Vemos que os valores em falta que estavam marcados com um caractere “?” foram substituídos por valores NaN.

Próximo, podemos ver a lista de todas as colunas do conjunto de dados e o número e percentagem de valores em falta.

Podemos ver que algumas colunas (por exemplo, índices de coluna 1 e 2) não têm valores em falta e outras colunas (por exemplo, índices de coluna 15 e 21) têm muitos ou mesmo a maioria dos valores em falta.

Agora estamos familiarizados com o conjunto de dados de cólicas de cavalos que tem valores em falta, vamos ver como podemos usar a imputação estatística.

Imputação estatística com o SimpleImputer

A biblioteca de aprendizagem da máquina Scikit-learn fornece a classe SimpleImputer que suporta a imputação estatística.

Nesta seção, vamos explorar como usar efetivamente a classe SimpleImputer.

Transformação de Dados do SimpleImputer

O SimpleImputer é uma transformação de dados que é configurada primeiro com base no tipo de estatística a ser calculada para cada coluna, e.g. média.

Então o imputador é ajustado em um conjunto de dados para calcular a estatística para cada coluna.

O imputer.fit é então aplicado a um conjunto de dados para criar uma cópia do conjunto de dados com todos os valores em falta para cada coluna substituída por um valor estatístico.

Podemos demonstrar o seu uso no conjunto de dados de cólicas do cavalo e confirmar que funciona resumindo o número total de valores em falta no conjunto de dados antes e depois da transform.

O exemplo completo está listado abaixo.

Executar o exemplo primeiro carrega o conjunto de dados e reporta o número total de valores em falta no conjunto de dados como 1.605,

A transformação é configurada, ajustada e realizada e o novo conjunto de dados resultante não tem valores em falta, confirmando que foi realizada como esperávamos.

Cada valor em falta foi substituído pelo valor médio da sua coluna.

SimpleImputer and Model Evaluation

É uma boa prática avaliar modelos de aprendizagem de máquinas num conjunto de dados usando a validação cruzada k-fold.

Para aplicar correctamente a imputação de dados estatísticos em falta e evitar fugas de dados, é necessário que as estatísticas calculadas para cada coluna sejam calculadas apenas no conjunto de dados de formação, depois aplicadas ao comboio e aos conjuntos de teste para cada dobra no conjunto de dados.

Se estamos usando a resampling para selecionar valores de parâmetros de ajuste ou para estimar o desempenho, a imputação deve ser incorporada dentro da resampling.

– Página 42, Applied Predictive Modeling, 2013.

Isto pode ser alcançado criando um pipeline de modelagem onde o primeiro passo é a imputação estatística, depois o segundo passo é o modelo. Isto pode ser alcançado usando a classe Pipeline.

Por exemplo, o Pipeline abaixo usa um SimpleImputer com uma estratégia ‘média’, seguido por um modelo florestal aleatório.

Podemos avaliar a média…conjunto de dados imputados e pipeline de modelagem florestal aleatória para o conjunto de dados sobre cólicas em cavalos com validação cruzada repetida de 10 vezes.

O exemplo completo está listado abaixo.

Executar correctamente o exemplo aplica a imputação de dados a cada dobra do procedimento de validação cruzada.

Nota: Os seus resultados podem variar dada a natureza estocástica do algoritmo ou procedimento de avaliação, ou diferenças na precisão numérica. Considere executar o exemplo algumas vezes e compare o resultado médio.

O pipeline é avaliado usando três repetições de 10 vezes a validação cruzada e reporta a precisão média da classificação no conjunto de dados como cerca de 86.3 por cento, o que é uma boa pontuação.

Comparando Diferentes Estatísticas Imputadas

Como sabemos que a utilização de uma estratégia estatística ‘média’ é boa ou melhor para este conjunto de dados?

A resposta é que não sabemos e que foi escolhida arbitrariamente.

Podemos desenhar um experimento para testar cada estratégia estatística e descobrir o que funciona melhor para este conjunto de dados, comparando a média, mediana, modo (mais freqüente), e estratégias constantes (0). A precisão média de cada abordagem pode então ser comparada.

O exemplo completo está listado abaixo.

Executar o exemplo avalia cada estratégia de imputação estatística no conjunto de dados de cólicas do cavalo usando a validação cruzada repetida.

Nota: Os seus resultados podem variar dada a natureza estocástica do algoritmo ou procedimento de avaliação, ou diferenças na precisão numérica. Considere executar o exemplo algumas vezes e compare o resultado médio.

A precisão média de cada estratégia é relatada ao longo do caminho. Os resultados sugerem que usando um valor constante, por exemplo 0, resulta no melhor desempenho de cerca de 88,1 por cento, o que é um resultado excepcional.

No final da execução, é criada uma caixa e um gráfico de whisker para cada conjunto de resultados, permitindo comparar a distribuição dos resultados.

Vemos claramente que a distribuição das pontuações de precisão para a estratégia constante é melhor do que as outras estratégias.

SimpleImputer Transform When Making a Prediction

We may wish to create a final modeling pipeline with the constant imputation strategy and random forest algorithm, then make a prediction for new data.

Isso pode ser conseguido definindo o pipeline e encaixando-o em todos os dados disponíveis, então chamando a função predict() passando novos dados como um argumento.

Importantemente, a linha de novos dados deve marcar quaisquer valores ausentes usando o valor NaN.

O exemplo completo está listado abaixo.

Executar o exemplo encaixa no pipeline de modelagem em todos os dados disponíveis.

Uma nova linha de dados é definida com valores em falta marcados com NaNs e é feita uma previsão de classificação.

Outras Leituras

Esta secção fornece mais recursos sobre o tópico se você estiver procurando ir mais fundo.

Tutoriais relacionados

• Resultados para Datasets de Aprendizagem de Máquinas de Classificação e Regressão Padrão
• Como lidar com dados ausentes com Python

Livros

• Manual de Dados Maus, 2012.
• Mineração de Dados: Ferramentas e Técnicas Práticas de Aprendizagem de Máquina, 2016.
• Modelagem Preditiva Aplicada, 2013.

APIs

• Imputação de valores em falta, Scikit-learn Documentation.
• sklearn.impute.SimpleImputer API.

Dataset

• Dataset de Cólicas de Cavalo
• Dataset de Cólicas de Cavalo

Sumário

Neste tutorial, você descobriu como usar estratégias de imputação estatística para dados faltantes na aprendizagem de máquinas.

Especificamente, você aprendeu:

• Os valores ausentes devem ser marcados com valores de NaN e podem ser substituídos por medidas estatísticas para calcular a coluna de valores.
• Como carregar um valor CSV com valores ausentes e marcar os valores ausentes com valores de NaN e informar o número e a percentagem de valores ausentes para cada coluna.
• Como imputar valores ausentes com estatísticas como um método de preparação de dados ao avaliar modelos e ao ajustar um modelo final para fazer previsões sobre novos dados.

Você tem alguma pergunta?
Ponha as suas questões nos comentários abaixo e farei o meu melhor para responder.