l9.md

Interpretace a evaluace

• deskriptivní úlohy
  • asociační pravidla apod.
  • kritériem novost, zajímavost, užitečnost a srozumitelnost (vyhodnotí expert)
  • kvalitativní hodnocení
    • mělo bynajít zřejmé znalosti (utvrdí to, že algoritmus funguje správně)
    • nové zajímavosti co přináší nový pohled
• klasifikační úůohy
  • kritériem úspěšnost klasifikace na datech
  • testování modelů
    • testování v celých trénovacích datech
    • náhodné rozděleníé na část trénovací a testovací
    • křížová validace
    • leave one out
    • bootstrap (náhodný výběr s opakováním pro učení)
    • testování na testovacích datech
  • cílem je zjistit v kolika případech došlo ke shodě nebo neshodě modelu (systému) s informací od učitele
  • matice záměn
    • správné zařazení vs klasifikace systémem
    • celková správnopst / resp celková chyba
      • acc = (TP + TN) / (TP+TN+FP+FN)
      • případně ERR kde nahožře je FP + FN
      • chyba bez ceny
        • err = 1 - acc
      • chyba s cenami
      • náklady a výnosy
    • správnost pro jednotlivé třídy
      • Acc+ = TP / (TP+FP)
      • Acc+ = TN / (TN+FN)
    • přesnost a úplnost
      • přesnost = TP / (TP + FP)
      • úplnost = TP / (TP + FN)
    • f-míra (harmonický průměr)
      • senzitivita (úplnost)
      • specificita = TN / (TN + FP)
  • numerické predikce
• porovnáíní modelů
  • T-test
• volba nejvhodnějšího algoritmu
  • charakteristiky algoritmů vs charakteristiky dat
    • způsob reprezentace příkladů
    • vyjadřovací síla
    • schopnost práce snumerickými atributy
    • schopnost práce se zašuměnými a chybějícími daty
    • schopnost práce s maticí cen
    • předpoklad nezávislosti mezi atributy
    • předpoklad nezávislosti mezi atributy
    • ostrá vs neostrá klasifikace
• kombinování modelů
  • bagging
  • boosting