Curățarea datelor înseamnă eliminarea erorilor, a duplicatelor și a valorilor lipsă dintr-un set de date înainte de antrenare. Un model învață exact ce găsește în date, inclusiv greșelile, așa că pregătirea contează adesea mai mult decât alegerea algoritmului. LumeaTehnologiei explică pașii pe înțeles.
Despre date, cloud și inteligență artificială găsești mai multe în explicațiile de pe LumeaTehnologiei, scrise fără jargon inutil. Aici urmărim drumul unui set de date de la brut la utilizabil.
De ce contează curățarea
Există o regulă veche în informatică: dacă bagi gunoi, primești gunoi. Dacă într-un set de date vârsta unui client apare uneori ca 250 sau ca număr negativ, modelul va încerca să învețe și din aceste valori. Rezultatul va fi o predicție care pare serioasă, dar se bazează pe erori. Într-un set cu prețuri de locuințe, o suprafață trecută din greșeală cu un zero în plus poate deforma media și poate învăța modelul că apartamentele mici costă enorm. O verificare de două minute ar fi prins eroarea.
Pașii principali
Ordinea poate varia, dar un flux sănătos arată de obicei așa:
- inspectezi datele: câte rânduri, ce coloane, ce tipuri de valori;
- elimini duplicatele, adică înregistrările repetate, care dau o greutate falsă unor cazuri;
- tratezi valorile lipsă: le completezi cu o valoare rezonabilă sau elimini înregistrarea, în funcție de context;
- unifici formatele: date calendaristice, unități de măsură, scrierea numelor;
- cauți valorile extreme și decizi dacă sunt erori sau cazuri reale;
- verifici dacă categoriile sunt echilibrate, ca modelul să nu învețe doar cazul cel mai frecvent.
Nu trebuie să faci totul manual: programele de analiză permit să automatizezi pașii și să-i rulezi la fiecare actualizare a datelor.
Valorile lipsă și valorile extreme
Nu există o soluție universală. O vârstă lipsă poate fi completată cu o valoare tipică, dar un diagnostic lipsă într-un set medical nu se completează la întâmplare. La valorile extreme, întreabă-te mai întâi dacă sunt posibile în lumea reală. Un venit foarte mare poate fi o greșeală de tastare, dar poate fi și un caz adevărat.
Separarea datelor de testare
Una dintre cele mai frecvente capcane este scurgerea de informații. Dacă faci transformările pe întregul set și abia apoi îl împarți în date de antrenare și de testare, modelul „vede” din timp o parte din ce ar trebui să fie nou. Rezultatele par excelente, dar în utilizare reală dezamăgesc.
Soluția este să separi datele de testare din timp și să calculezi mediile sau alte valori de completare doar pe datele de antrenare.
De unde vin datele
Multe seturi de date provin din pagini web, formulare sau jurnale de acces. Ca să înțelegi de ce apar duplicate sau înregistrări incomplete, ajută să știi ce face un server când primește o cerere. Pentru context, vezi ce face serverul web când ceri o pagină.
Documentează ce ai făcut
Notează fiecare pas de curățare: ce ai eliminat, ce ai completat și de ce. Cine reia proiectul peste câteva luni va avea nevoie de aceste explicații, iar tu vei putea reproduce rezultatele. Păstrează și o copie a datelor originale, nemodificate: dacă greșești un pas, te poți întoarce fără să pierzi nimic.
Un model bun începe cu date bune. LumeaTehnologiei te ajută să înțelegi, pas cu pas, cum se ajunge de la un fișier dezordonat la unul pe care poți construi.
