Statistická imputace chybějících hodnot ve strojovém učení

Poslední aktualizace 18. srpna 2020

Datové soubory mohou obsahovat chybějící hodnoty, což může způsobit problémy mnoha algoritmům strojového učení.

Před modelováním predikční úlohy je proto vhodné identifikovat a nahradit chybějící hodnoty pro každý sloupec vstupních dat. Tomuto postupu se říká imputace chybějících dat, zkráceně imputace.

Oblíbeným přístupem k imputaci dat je výpočet statistické hodnoty pro každý sloupec (například průměr) a nahrazení všech chybějících hodnot pro tento sloupec touto statistikou. Je to oblíbený přístup, protože statistiku lze snadno vypočítat pomocí trénovacího souboru dat a protože často vede k dobrému výkonu.

V tomto tutoriálu zjistíte, jak používat statistické strategie imputace chybějících dat ve strojovém učení.

Po dokončení tohoto tutoriálu budete vědět:

• Chybějící hodnoty musí být označeny hodnotami NaN a mohou být nahrazeny statistickými mírami pro výpočet sloupce hodnot.
• Jak načíst hodnotu CSV s chybějícími hodnotami a označit chybějící hodnoty hodnotami NaN a vykázat počet a procento chybějících hodnot pro každý sloupec.
• Jak imputovat chybějící hodnoty pomocí statistických měr jako metodu přípravy dat při vyhodnocování modelů a při sestavování konečného modelu pro předpovědi na nových datech.

Začněte svůj projekt s mou novou knihou Příprava dat pro strojové učení, která obsahuje návody krok za krokem a zdrojové soubory jazyka Python pro všechny příklady.

Začněme.

• Aktualizováno červen/2020:

Přehled učiva

Toto učivo je rozděleno do tří částí; jsou to:

1. Statistická imputace
2. Soubor dat koňské koliky
3. Statistická imputace pomocí SimpleImputeru
   1. Transformace dat pomocí SimpleImputeru
   2. Transformace dat pomocí SimpleImputeru a vyhodnocení modelu

   .

   3. Srovnání různých imputovaných statistik
   4. Transformace SimpleImputer při vytváření predikce

Statistická imputace

Soubor dat může obsahovat chybějící hodnoty.

Jedná se o řádky dat, ve kterých není přítomna jedna nebo více hodnot nebo sloupců v daném řádku. Hodnoty mohou chybět úplně nebo mohou být označeny zvláštním znakem nebo hodnotou, například otazníkem „?“.

Tyto hodnoty lze vyjádřit mnoha způsoby. Viděl jsem, že se zobrazují jako vůbec nic , prázdný řetězec , explicitní řetězec NULL nebo nedefinovaný nebo N/A nebo NaN a číslo 0, mimo jiné. Bez ohledu na to, jak se v datové sadě objevují, znalost toho, co očekávat, a kontrola, zda data odpovídají tomuto očekávání, omezí problémy, jakmile začnete data používat.

– Strana 10, Příručka špatných dat, 2012.

Hodnoty mohou chybět z mnoha důvodů, často specifických pro danou problémovou oblast, a mohou zahrnovat důvody, jako je poškození měření nebo nedostupnost dat.

Mohou se vyskytnout z řady důvodů, jako je nefunkční měřicí zařízení, změny v experimentálním designu během sběru dat a srovnávání několika podobných, ale ne stejných souborů dat.

– Strana 63, Data Mining: Praktické nástroje a techniky strojového učení, 2016.

Většina algoritmů strojového učení vyžaduje číselné vstupní hodnoty a pro každý řádek a sloupec v souboru dat musí být přítomna hodnota. Chybějící hodnoty jako takové mohou algoritmům strojového učení způsobit problémy.

Proto je běžné identifikovat chybějící hodnoty v souboru dat a nahradit je číselnou hodnotou. Tomuto postupu se říká imputace dat nebo imputace chybějících dat.

Jednoduchý a oblíbený přístup k imputaci dat zahrnuje použití statistických metod k odhadu hodnoty sloupce z těch hodnot, které jsou přítomny, a poté nahrazení všech chybějících hodnot ve sloupci vypočtenou statistikou.

Jednoduchý je proto, že výpočet statistiky je rychlý, a oblíbený proto, že se často ukáže jako velmi efektivní.

Mezi běžné vypočtené statistiky patří:

• Střední hodnota sloupce.
• Medián sloupce.
• Modus sloupce.
• Konstantní hodnota.

Teď, když jsme se seznámili se statistickými metodami imputace chybějících hodnot, podívejme se na soubor dat s chybějícími hodnotami.

Chcete začít s přípravou dat?“

Podstupte nyní můj bezplatný 7denní e-mailový rychlokurz (s ukázkovým kódem).

Klikněte pro registraci a získejte také bezplatnou verzi kurzu ve formátu PDF Ebook.

Stáhněte si svůj minikurz ZDARMA

Soubor dat o koňských kolikách

Soubor dat o koňských kolikách popisuje zdravotní charakteristiky koní s kolikami a to, zda žili nebo zemřeli.

Je zde 300 řádků a 26 vstupních proměnných s jednou výstupní proměnnou. Jedná se o binární klasifikační predikční úlohu, která spočívá v předpovědi 1, pokud kůň žil, a 2, pokud kůň zemřel.

V této datové sadě můžeme vybrat mnoho polí pro predikci. V tomto případě budeme předpovídat, zda se jednalo o operaci, nebo ne (index sloupce 23), takže se jedná o binární klasifikační úlohu.

Datový soubor obsahuje četné chybějící hodnoty u mnoha sloupců, kde je každá chybějící hodnota označena znakem otazníku („?“).

Níže uvádíme příklad řádků z datového souboru s označenými chybějícími hodnotami.

Další informace o datové sadě se dozvíte zde:

• Datová sada pro koňské koliky
• Popis datové sady pro koňské koliky

Není třeba stahovat datovou sadu, protože ji stáhneme automaticky ve zpracovaných příkladech.

Označení chybějících hodnot hodnotou NaN (ne číslo) v načteném datasetu pomocí Pythonu je osvědčený postup.

Můžeme načíst dataset pomocí funkce read_csv() Pandas a zadat „na_values“ pro načtení hodnot ‚?‘ jako chybějící, označené hodnotou NaN.

Po načtení můžeme zkontrolovat načtená data a potvrdit, že „?“ hodnoty jsou označeny jako NaN.

Poté můžeme vypsat každý sloupec a ohlásit počet řádků s chybějícími hodnotami pro daný sloupec.

Kompletní příklad načtení a shrnutí datové sady je uveden níže.

Spuštěním příkladu se nejprve načte soubor dat a shrne se prvních pět řádků.

Vidíme, že chybějící hodnoty, které byly označeny znakem „?“, byly nahrazeny hodnotami NaN.

Dále vidíme seznam všech sloupců datového souboru a počet a procento chybějících hodnot.

Vidíme, že některé sloupce (např. sloupce s indexy 1 a 2) nemají žádné chybějící hodnoty a jiné sloupce (např. sloupce s indexy 15 a 21) mají mnoho nebo dokonce většinu chybějících hodnot.

Teď, když jsme se seznámili se souborem dat o koňské kolice, který obsahuje chybějící hodnoty, podívejme se, jak můžeme použít statistickou imputaci.

Statistická imputace pomocí SimpleImputer

Knihovna strojového učení scikit-learn poskytuje třídu SimpleImputer, která podporuje statistickou imputaci.

V této části se budeme zabývat tím, jak efektivně používat třídu SimpleImputer.

Transformace dat SimpleImputer

Třída SimpleImputer je datová transformace, která se nejprve nakonfiguruje na základě typu statistiky, která se má pro každý sloupec vypočítat, např.např. průměr.

Poté se imputer napasuje na soubor dat, aby se vypočítala statistika pro každý sloupec.

Na dataset se pak aplikuje fit imputer, který vytvoří kopii datasetu se všemi chybějícími hodnotami pro každý sloupec nahrazenými statistickou hodnotou.

Jeho použití můžeme demonstrovat na souboru dat o koňských kolikách a potvrdit jeho funkčnost shrnutím celkového počtu chybějících hodnot v souboru dat před transformací a po ní.

Kompletní příklad je uveden níže.

Spuštěním příkladu se nejprve načte datová sada a ohlásí se celkový počet chybějících hodnot v datové sadě jako 1 605.

Transformace je nakonfigurována, přizpůsobena a provedena a výsledná nová datová sada neobsahuje žádné chybějící hodnoty, což potvrzuje, že byla provedena podle našich očekávání.

Každá chybějící hodnota byla nahrazena střední hodnotou svého sloupce.

Jednoduché vyhodnocování počítačů a modelů

Je dobrým zvykem vyhodnocovat modely strojového učení na souboru dat pomocí k-násobné křížové validace.

Pro správné použití statistické imputace chybějících dat a zamezení úniku dat je nutné, aby statistiky vypočtené pro každý sloupec byly vypočteny pouze na trénovací datové sadě a poté aplikovány na trénovací a testovací množiny pro každý fold v datové sadě.

Používáme-li převzorkování k výběru hodnot parametrů ladění nebo k odhadu výkonnosti, měla by být imputace začleněna v rámci převzorkování.

– Strana 42, Aplikované prediktivní modelování, 2013.

Toho lze dosáhnout vytvořením modelovací pipeline, kde prvním krokem je statistická imputace, druhým krokem pak model. Toho lze dosáhnout pomocí třídy Pipeline.

Například níže uvedená Pipeline používá SimpleImputer se strategií „mean“, po níž následuje model random forest.

Můžeme vyhodnotit střední hodnotu.imputovaný soubor dat a pipeline pro modelování náhodného lesa pro soubor dat koňské koliky s opakovanou desetinásobnou křížovou validací.

Kompletní příklad je uveden níže.

Při spuštění příkladu se správně aplikuje imputace dat na každou složku postupu křížové validace.

Poznámka: Vaše výsledky se mohou lišit vzhledem ke stochastické povaze algoritmu nebo postupu vyhodnocení nebo k rozdílům v číselné přesnosti. Zvažte několikanásobné spuštění příkladu a porovnejte průměrný výsledek.

Pipeline je vyhodnocena pomocí tří opakování desetinásobné křížové validace a uvádí průměrnou klasifikační přesnost na souboru dat přibližně 86 bodů.3 %, což je dobrý výsledek.

Srovnání různých imputovaných statistik

Jak víme, že použití „střední“ statistické strategie je pro tento soubor dat dobré nebo nejlepší?“

Odpovědí je, že nevíme a že byla zvolena libovolně.

Můžeme navrhnout experiment, ve kterém otestujeme jednotlivé statistické strategie a zjistíme, co je pro tento soubor dat nejlepší, a porovnáme strategie průměr, medián, modus (nejčastější) a konstantní (0). Poté lze porovnat průměrnou přesnost jednotlivých přístupů.

Kompletní příklad je uveden níže.

Spuštěním příkladu se vyhodnotí každá statistická imputační strategie na souboru dat koňské koliky pomocí opakované křížové validace.

Poznámka: Vaše výsledky se mohou lišit vzhledem ke stochastické povaze algoritmu nebo postupu vyhodnocení nebo k rozdílům v numerické přesnosti. Zvažte několikanásobné spuštění příkladu a porovnejte průměrný výsledek.

Podélně je uvedena průměrná přesnost každé strategie. Z výsledků vyplývá, že použití konstantní hodnoty, např. 0, vede k nejlepšímu výsledku přibližně 88,1 %, což je vynikající výsledek.

Na konci běhu je pro každou sadu výsledků vytvořen krabicový a metkový graf, který umožňuje porovnat rozložení výsledků.

Je jasně vidět, že rozložení výsledků přesnosti pro konstantní strategii je lepší než pro ostatní strategie.

Jednoduchá počítačová transformace při vytváření předpovědi

Můžeme chtít vytvořit konečnou modelovací řadu s konstantní strategií imputace a algoritmem náhodného lesa a poté vytvořit předpověď pro nová data.

Toho lze dosáhnout definováním pipeline a jejím fitováním na všechna dostupná data, poté zavoláním funkce predict() s předáním nových dat jako argumentu.

Důležité je, že řádek nových dat musí označit všechny chybějící hodnoty pomocí hodnoty NaN.

Kompletní příklad je uveden níže.

Spuštění příkladu vyhovuje modelovací pipeline na všech dostupných datech.

Je definován nový řádek dat s chybějícími hodnotami označenými NaN a je provedena klasifikační predikce.

Další četba

Tato část obsahuje další zdroje k tématu, pokud chcete jít hlouběji.

Související výukové materiály

• Výsledky pro standardní klasifikační a regresní soubory dat strojového učení
• Jak pracovat s chybějícími daty pomocí Pythonu

Knihy

• Bad Data Handbook, 2012.
• Data Mining: Practical Machine Learning Tools and Techniques, 2016.
• Applied Predictive Modeling, 2013.

APIs

• Imputation of missing values, scikit-learn Documentation.
• sklearn.impute.SimpleImputer API.

Datová sada

• Datová sada kolika koní
• Datová sada kolika koní Popis

Souhrn

V tomto tutoriálu jste zjistili, jak používat statistické strategie imputace chybějících dat ve strojovém učení.

Konkrétně jste se naučili:

• Chybějící hodnoty musí být označeny hodnotami NaN a mohou být nahrazeny statistickými mírami pro výpočet sloupce hodnot.
• Jak načíst hodnotu CSV s chybějícími hodnotami a označit chybějící hodnoty hodnotami NaN a vykázat počet a procento chybějících hodnot pro každý sloupec.
• Jak imputovat chybějící hodnoty pomocí statistiky jako metody přípravy dat při vyhodnocování modelů a při fitování finálního modelu pro předpovědi na nových datech.

Máte nějaké dotazy?
Pokládejte své dotazy v komentářích níže a já se je budu snažit zodpovědět.

.