Statistisk imputering av saknade värden i maskininlärning

Sist uppdaterad den 18 augusti 2020

Dataset kan förekomma saknade värden, vilket kan orsaka problem för många maskininlärningsalgoritmer.

Det är därför bra att identifiera och ersätta saknade värden för varje kolumn i indatadata före modellering av prediktionsuppgiften. Detta kallas imputering av saknade data, eller imputering i korthet.

En populär metod för imputering av data är att beräkna ett statistiskt värde för varje kolumn (t.ex. ett medelvärde) och ersätta alla saknade värden för den kolumnen med statistiken. Det är ett populärt tillvägagångssätt eftersom statistiken är lätt att beräkna med hjälp av träningsdatasetetet och eftersom det ofta resulterar i bra prestanda.

I den här handledningen kommer du att upptäcka hur man använder statistiska imputeringsstrategier för saknade data i maskininlärning.

När du har slutfört den här handledningen kommer du att veta:

• Som saknade värden måste markeras med NaN-värden och kan ersättas med statistiska mått för att beräkna kolumnen av värden.
• Hur man laddar ett CSV-värde med saknade värden och markerar de saknade värdena med NaN-värden och rapporterar antalet och procentandelen saknade värden för varje kolumn.
• Hur man imputerar saknade värden med hjälp av statistik som en metod för dataförberedelse när man utvärderar modeller och när man anpassar en slutgiltig modell för att göra förutsägelser på nya data.

Kicka igång ditt projekt med min nya bok Data Preparation for Machine Learning, inklusive steg-för-steg-handledning och Python-källkodfiler för alla exempel.

Sätt igång.

• Uppdaterad juni/2020:

Tutorial Overview

Denna tutorial är uppdelad i tre delar; de är:

1. Statistisk imputering
2. Dataset om hästkolik
3. Statistisk imputering med SimpleImputer
   1. SimpleImputer-datatransformation
   2. SimpleImputer och modellutvärdering
   3. Genomförande av olika imputerad statistik
   4. SimpleImputer Transform när man gör en förutsägelse

Statistisk imputering

En datamängd kan ha saknade värden.

Dessa är rader av data där ett eller flera värden eller kolumner i den raden inte finns. Värdena kan saknas helt eller vara markerade med ett särskilt tecken eller värde, t.ex. ett frågetecken ”?”.

Dessa värden kan uttryckas på många olika sätt. Jag har sett dem visas som ingenting alls , en tom sträng , den explicita strängen NULL eller odefinierad eller N/A eller NaN, och numret 0, bland annat. Oavsett hur de förekommer i ditt dataset, om du vet vad du kan förvänta dig och kontrollerar att uppgifterna stämmer överens med denna förväntan kommer du att minska problemen när du börjar använda uppgifterna.

– Sida 10, Bad Data Handbook, 2012.

Värden kan saknas av många anledningar, som ofta är specifika för problemområdet, och kan inkludera orsaker som korrupta mätningar eller otillgänglighet av data.

De kan uppstå av flera olika anledningar, t.ex. dåligt fungerande mätutrustning, ändringar i försöksupplägget under datainsamlingen och sammanställning av flera liknande men inte identiska dataset.

– Sidan 63, Data Mining: Practical Machine Learning Tools and Techniques, 2016.

De flesta algoritmer för maskininlärning kräver numeriska ingångsvärden och att det finns ett värde för varje rad och kolumn i en datamängd. Därför kan saknade värden orsaka problem för algoritmer för maskininlärning.

Det är därför vanligt att man identifierar saknade värden i ett dataset och ersätter dem med ett numeriskt värde. Detta kallas dataimputering eller imputering av saknade data.

En enkel och populär metod för dataimputering innebär att man använder statistiska metoder för att uppskatta ett värde för en kolumn från de värden som finns, och sedan ersätter alla saknade värden i kolumnen med den beräknade statistiken.

Det är enkelt eftersom statistiken är snabb att beräkna och det är populärt eftersom det ofta visar sig vara mycket effektivt.

Andra statistiska metoder som beräknas är bland annat:

• Kolonnens medelvärde.
• Kolonnens medianvärde.
• Kolonnens modusvärde.
• Kolonnens konstantvärde.

Nu när vi är bekanta med statistiska metoder för imputering av saknade värden kan vi ta en titt på ett dataset med saknade värden.

Vill du komma igång med datapreparering?

Ta min kostnadsfria 7-dagars snabbkurs via e-post nu (med exempelkod).

Klicka för att registrera dig och få en gratis PDF Ebook-version av kursen.

Ladda ner din kostnadsfria minikurs

Horse Colic Dataset

Horse Colic Datasetetet beskriver medicinska egenskaper hos hästar med kolik och om de levde eller dog.

Det finns 300 rader och 26 indatavariabler med en utdatavariabel. Det är en prediktionsuppgift med binär klassificering som innebär att man ska förutsäga 1 om hästen levde och 2 om hästen dog.

Det finns många fält som vi skulle kunna välja att förutsäga i det här datasetet. I det här fallet kommer vi att förutsäga om problemet var kirurgiskt eller inte (kolumnindex 23), vilket gör det till ett binärt klassificeringsproblem.

Dataset har många saknade värden för många av kolumnerna där varje saknat värde är markerat med ett frågetecken (”?”).

Nedan följer ett exempel på rader från datasetetet med markerade saknade värden.

Du kan läsa mer om datasetet här:

• Horse Colic Dataset
• Horse Colic Dataset Description

Det finns inget behov av att ladda ner datasetetet, eftersom vi hämtar det automatiskt i de fungerande exemplen.

Markera saknade värden med ett NaN-värde (not a number) i ett inläst dataset med hjälp av Python är bästa praxis.

Vi kan läsa in datasetetet med hjälp av Pandas-funktionen read_csv() och ange ”na_values” för att läsa in värden på ’?’ som saknade, markerade med ett NaN-värde.

När data väl är inlästa kan vi se över dem för att bekräfta att ”?” värdena är markerade som NaN.

Vi kan sedan räkna upp varje kolumn och rapportera antalet rader med saknade värden för kolumnen.

Det fullständiga exemplet på inläsning och sammanfattning av datamängden är sammanställt nedan.

Att köra exemplet laddar först datasetet och sammanfattar de fem första raderna.

Vi kan se att de saknade värdena som markerades med ett ”?”-tecken har ersatts med NaN-värden.

Nästan kan vi se listan över alla kolumner i datasetet och antalet och procentandelen saknade värden.

Vi kan se att vissa kolumner (t.ex. kolumnindex 1 och 2) inte har några saknade värden och att andra kolumner (t.ex. kolumnindex 15 och 21) har många eller till och med en majoritet av saknade värden.

Nu när vi är bekanta med hästkolikdatasetetet som har saknade värden ska vi titta på hur vi kan använda oss av statistisk imputering.

Statistisk imputering med SimpleImputer

Biblioteket för maskininlärning scikit-learn tillhandahåller klassen SimpleImputer som stöder statistisk imputering.

I det här avsnittet kommer vi att utforska hur man effektivt använder SimpleImputer-klassen.

SimpleImputer-datatransformation

SimpleImputer är en datatransformation som först konfigureras baserat på vilken typ av statistik som ska beräknas för varje kolumn, t.ex.t.ex. medelvärde.

Därefter anpassas imputern på ett dataset för att beräkna statistiken för varje kolumn.

Passningsimputern appliceras sedan på ett dataset för att skapa en kopia av datasetetet med alla saknade värden för varje kolumn ersatta med ett statistiskt värde.

Vi kan demonstrera dess användning på datasetetet för hästkolik och bekräfta att det fungerar genom att summera det totala antalet saknade värden i datasetetet före och efter omvandlingen.

Det kompletta exemplet visas nedan.

Att köra exemplet laddar först datasetetet och rapporterar det totala antalet saknade värden i datasetetet som 1 605.

Transformationen konfigureras, anpassas och utförs, och det resulterande nya datasetetet har inga saknade värden, vilket bekräftar att den utfördes som vi förväntade.

Varje saknat värde ersattes med medelvärdet för sin kolumn.

SimpleImputer and Model Evaluation

Det är en bra metod att utvärdera modeller för maskininlärning på en datamängd med hjälp av k-fold cross-validation.

För att korrekt tillämpa statistisk imputering av saknade uppgifter och undvika dataläckage krävs det att den statistik som beräknas för varje kolumn endast beräknas på träningsdatamängden och sedan tillämpas på tränings- och testuppsättningarna för varje veck i datamängden.

Om vi använder resampling för att välja värden för inställningsparametrar eller för att uppskatta prestanda bör imputeringen införlivas i resamplingen.

– Sida 42, Applied Predictive Modeling, 2013.

Detta kan åstadkommas genom att skapa en pipeline för modellering där det första steget är den statistiska imputeringen och det andra steget är modellen. Detta kan åstadkommas med hjälp av klassen Pipeline.

Till exempel använder Pipeline nedan en SimpleImputer med en ”mean”-strategi, följt av en random forest-modell.

Vi kan utvärdera medel-imputerade datasetet och pipeline för random forest-modellering för hästkolikdatasetetet med upprepad 10-faldig korsvalidering.

Det fullständiga exemplet finns nedan.

Den korrekta körningen av exemplet tillämpar dataimputering på varje veck i korsvalideringsproceduren.

Anmärkning: Dina resultat kan variera på grund av algoritmens eller utvärderingsförfarandets stokastiska natur eller skillnader i numerisk precision. Överväg att köra exemplet några gånger och jämför det genomsnittliga resultatet.

Pipeline utvärderas med hjälp av tre upprepningar av 10-faldig korsvalidering och rapporterar den genomsnittliga klassificeringsnoggrannheten på datasetetet som ca 86.3 procent, vilket är ett bra resultat.

Variantjämförelse av olika imputerade statistiska uppgifter

Hur vet vi att det är bra eller bäst att använda en ”genomsnittlig” statistisk strategi för det här datasetet?

Svaret är att vi inte vet det och att det valdes godtyckligt.

Vi kan utforma ett experiment för att testa varje statistisk strategi och upptäcka vad som fungerar bäst för det här datasetet, genom att jämföra strategierna medelvärde, median, mode (mest frekvent) och konstant (0). Den genomsnittliga noggrannheten för varje strategi kan sedan jämföras.

Det fullständiga exemplet finns nedan.

Då exemplet körs utvärderar man varje strategi för statistisk imputering av datamängden för hästkolik genom upprepad korsvalidering.

Anmärkningar: Dina resultat kan variera på grund av algoritmens eller utvärderingsförfarandets stokastiska natur eller skillnader i numerisk precision. Överväg att köra exemplet några gånger och jämför det genomsnittliga resultatet.

Den genomsnittliga noggrannheten för varje strategi rapporteras längs vägen. Resultaten tyder på att användningen av ett konstant värde, t.ex. 0, resulterar i den bästa prestandan på cirka 88,1 procent, vilket är ett enastående resultat.

I slutet av körningen skapas en box- och whiskerdiagram för varje uppsättning resultat, vilket gör det möjligt att jämföra fördelningen av resultaten.

Vi kan tydligt se att fördelningen av noggrannhetsresultaten för den konstanta strategin är bättre än de andra strategierna.

SimpleImputer Transform When Making a Prediction

Vi kanske vill skapa en slutgiltig modelleringspipeline med den konstanta imputeringsstrategin och random forest-algoritmen, och sedan göra en prediktion för nya data.

Detta kan åstadkommas genom att definiera pipelinen och anpassa den på alla tillgängliga data, och sedan anropa funktionen predict() med nya data som argument.

Väsentligt är att raden med nya data måste markera eventuella saknade värden med hjälp av NaN-värdet.

Det fullständiga exemplet finns nedan.

Avkörning av exemplet passar modelleringspipelinen på alla tillgängliga data.

En ny datarad definieras med saknade värden markerade med NaNs och en klassificeringsprediktion görs.

Fördjupad läsning

Det här avsnittet innehåller fler resurser om ämnet om du vill fördjupa dig.

Relaterade handledningar

• Resultat för standardiserade datamängder för maskininlärning i form av klassificering och regression
• Hur man hanterar saknade data med Python

Böcker

• Handbok för dåliga data, 2012.
• Data Mining: Practical Machine Learning Tools and Techniques, 2016.
• Applied Predictive Modeling, 2013.

APIs

• Imputering of missing values, scikit-learn Documentation.
• sklearn.impute.SimpleImputer API.

Dataset

• Horse Colic Dataset
• Horse Colic Dataset Description

Summary

I den här handledningen har du upptäckt hur du kan använda statistiska imputeringsstrategier för saknade data i maskininlärning.

Specifikt lärde du dig:

• Missade värden måste markeras med NaN-värden och kan ersättas med statistiska mått för att beräkna värdekolumnen.
• Hur man laddar ett CSV-värde med saknade värden och markerar de saknade värdena med NaN-värden och rapporterar antalet och procentandelen saknade värden för varje kolumn.
• Hur man imputerar saknade värden med statistik som en metod för dataförberedelse när man utvärderar modeller och när man anpassar en slutlig modell för att göra förutsägelser på nya data.

Har du några frågor?
Sätt dina frågor i kommentarerna nedan så ska jag göra mitt bästa för att svara.