Odpowiedzialne AI · AI w zdrowiu
Gdzie kończy się automatyzacja, a zaczyna odpowiedzialność człowieka?
D&K Invest ·
Automatyzacja może skrócić obsługę dokumentów i ułatwić dostęp do informacji. Nie oznacza to jednak, że każdy wynik modelu powinien bez weryfikacji uruchamiać kolejną czynność. Granice działania systemu trzeba ustalić przed jego wdrożeniem.
Oddziel wsparcie od podejmowania decyzji
Propozycja kategorii dokumentu, szkic odpowiedzi i decyzja wpływająca na pacjenta to różne zastosowania. Należy opisać, co model przygotowuje, co zatwierdza użytkownik i czego system nie może wykonać samodzielnie. Zwykły przycisk „akceptuj” nie wystarczy, jeżeli osoba sprawdzająca nie ma informacji potrzebnych do oceny wyniku.
Wytyczne WHO podkreślają znaczenie etyki i praw człowieka przy projektowaniu oraz stosowaniu AI w zdrowiu. Wytyczne WHO dotyczące AI w zdrowiu. W praktyce projektowej oznacza to potrzebę zaplanowania rzeczywistego nadzoru, a nie jedynie deklaracji w opisie produktu.
Zaprojektuj punkt kontroli
Osoba zatwierdzająca powinna widzieć materiały źródłowe, zakres proponowanej zmiany i istotne ograniczenia. Musi mieć możliwość poprawienia, odrzucenia albo przekazania sprawy dalej. Warto pokazać różnicę między treścią dokumentu a interpretacją wygenerowaną przez model.
Nie należy traktować płynnego języka odpowiedzi jako dowodu jej poprawności. Także deklaracja pewności wygenerowana przez model nie zastępuje niezależnej oceny. Wynik trzeba sprawdzać według kryteriów właściwych dla danego procesu.
Przykład: porządkowanie korespondencji
Załóżmy, że system sugeruje kategorię wiadomości kierowanej do placówki. Może przekazać propozycję pracownikowi wraz z fragmentem uzasadniającym klasyfikację. Jeżeli informacja jest niejednoznaczna, wiadomość trafia do ręcznej obsługi zamiast do automatycznej odpowiedzi.
To ilustracja sposobu projektowania, nie opis konkretnego wdrożenia. Dla każdego zastosowania trzeba oddzielnie określić konsekwencje pomyłki, wymagane kompetencje osoby sprawdzającej oraz dopuszczalny zakres automatyzacji.
Przewiduj błędy i możliwość zatrzymania
Proces powinien uwzględniać niedostępność modelu, brak właściwego źródła, sprzeczne informacje i niepoprawny format odpowiedzi. Bezpieczna ścieżka może polegać na przekazaniu zadania do człowieka i oznaczeniu powodu. System nie powinien ukrywać awarii, przedstawiając losowy wynik jako prawidłowe rozwiązanie.
- Ustal, kto może wstrzymać automatyzację.
- Określ sposób zgłaszania i analizowania pomyłek.
- Rejestruj wersję rozwiązania i istotne etapy operacji, ograniczając zakres danych w logach.
- Sprawdź, czy użytkownik potrafi wykonać zadanie po wyłączeniu funkcji AI.
Mierz działanie w rzeczywistym procesie
Sam czas wygenerowania odpowiedzi nie pokazuje korzyści. Trzeba uwzględnić czas weryfikacji, liczbę poprawek i skutki błędów. Zestaw testowy powinien obejmować również trudne przypadki, a zmiany modelu lub instrukcji wymagają ponownego sprawdzenia.
NIST AI RMF opisuje podejście do zarządzania ryzykiem w cyklu życia systemów AI. NIST AI Risk Management Framework. Nie stanowi to potwierdzenia bezpieczeństwa konkretnej aplikacji: o jej odbiorze decydują wymagania, testy i warunki użycia.