Dane · AI w zdrowiu
Jak przygotować dane do projektu wykorzystującego AI?
D&K Invest ·
Duży zbiór nie musi być dobrym zbiorem. Przydatność danych zależy od ich jakości, znaczenia i zgodności z zadaniem, które ma wykonywać system. Przygotowanie materiałów jest osobnym etapem projektu, a nie czynnością wykonywaną dopiero po wyborze modelu.
Zacznij od wyniku, który chcesz uzyskać
Najpierw trzeba określić zadanie: klasyfikacja dokumentów, wyszukiwanie procedur i prognozowanie obciążenia wymagają innych wejść oraz innego sposobu oceny. Bez tej decyzji łatwo zebrać dużo informacji, które nie pomagają rozwiązać problemu.
Przydatny opis zawiera użytkownika wyniku, planowaną czynność oraz konsekwencje pomyłki. Dopiero potem można ustalić, jakie pola, dokumenty lub przykłady są potrzebne. Zakres danych powinien odpowiadać celowi, nie zasadzie „skopiujmy wszystko na wszelki wypadek”.
Zrób inwentaryzację i sprawdź znaczenie pól
Lista źródeł powinna obejmować właściciela, format, okres, sposób aktualizacji i warunki dostępu. Nazwa kolumny nie zawsze wyjaśnia jej znaczenie. Warto ustalić jednostki, kody brakujących wartości oraz różnice między placówkami lub wersjami systemu.
Kontrola jakości obejmuje duplikaty, braki, błędne daty, niespójne oznaczenia i nieaktualne rekordy. Nie należy usuwać wszystkich przypadków nietypowych tylko dlatego, że utrudniają analizę. Mogą one reprezentować sytuacje, które system musi później poprawnie obsługiwać.
Oddziel identyfikatory od informacji potrzebnej modelowi
Środowisko pracy nad modelem nie powinno domyślnie otrzymywać pełnego zestawu danych identyfikujących osoby. Trzeba ustalić potrzebny zakres, sposób ograniczenia dostępu i dozwolone środowisko przetwarzania. Materiały demonstracyjne można przygotować na danych syntetycznych.
Samo usunięcie nazwiska nie przesądza o anonimizacji. Osobę mogą pozwalać rozpoznać inne informacje lub ich kombinacja; tekst swobodny także może zawierać identyfikatory. Ocena odpowiedniego sposobu ochrony wymaga uwzględnienia rzeczywistych danych i warunków ich wykorzystania.
Przygotuj niezależny zestaw oceny
Ocena na przykładach wykorzystanych do dostosowania modelu może dawać zbyt optymistyczny wynik. Potrzebny jest oddzielony zestaw testowy. W zależności od zadania należy rozdzielać materiały również według osoby, czasu lub źródła, aby powiązane rekordy nie trafiały do obu części.
Warto uwzględnić rzadkie kategorie, trudne dokumenty i sytuacje z brakującymi danymi. Dla klasyfikacji trzeba sprawdzić rodzaje pomyłek, nie tylko jedną zbiorczą miarę. Dla asystenta opartego na dokumentach ocenia się także zgodność odpowiedzi z materiałem źródłowym.
Ustal wersje i utrzymanie jakości
Każdy odbiór powinien wskazywać wersję danych, rozwiązania i kryteriów oceny. Zmiana sposobu pracy placówki lub źródła dokumentów może wpłynąć na wynik bez zmiany kodu. Dlatego potrzebna jest procedura aktualizacji materiałów i ponownego sprawdzenia.
- Istnieje właściciel danych i opis ich pochodzenia.
- Braki oraz ograniczenia są zapisane, nie ukryte.
- Zestaw testowy odpowiada planowanemu zastosowaniu.
- Aktualizacja ma określony sposób zatwierdzania.
Takie przygotowanie pomaga podejmować decyzje projektowe na podstawie sprawdzonych wejść zamiast obietnic samego modelu. Szersze podejście do ryzyka opisuje NIST AI Risk Management Framework.