Modele językowe · AI w zdrowiu
RAG czy klasyczny chatbot do medycznej bazy wiedzy?
D&K Invest ·
Chatbot jest sposobem rozmowy z użytkownikiem, a RAG sposobem dostarczania modelowi materiałów źródłowych. Nie są to przeciwieństwa: chatbot może korzystać z RAG. Właściwy wybór zależy od tego, skąd mają pochodzić odpowiedzi i jak będą sprawdzane.
Co faktycznie robi RAG?
W podejściu Retrieval-Augmented Generation system wyszukuje materiały powiązane z pytaniem, a następnie przekazuje wybrane fragmenty modelowi przygotowującemu odpowiedź. Użytkownik może dzięki temu otrzymać informację opartą na określonym zestawie dokumentów. Podstawową koncepcję opisuje publikacja autorów Retrieval-Augmented Generation.
RAG nie gwarantuje prawidłowej odpowiedzi. System może znaleźć niewłaściwy fragment, pominąć ważny dokument albo błędnie zinterpretować źródło. Jakość wyszukiwania i jakość wygenerowanej odpowiedzi trzeba oceniać osobno.
Kiedy wystarczy prostszy mechanizm?
Dla kilku stałych pytań o godziny pracy, lokalizację czy sposób kontaktu wystarczający może być uporządkowany zestaw odpowiedzi lub wyszukiwarka. Taki mechanizm jest łatwiejszy do kontrolowania i nie wymaga generowania nowej treści przy każdym pytaniu.
Model językowy warto rozważyć wtedy, gdy pytania mają wiele sformułowań, odpowiedź łączy informacje z kilku materiałów albo potrzebne jest objaśnienie dokumentu. Sam efekt rozmowy nie uzasadnia dodania modelu, jeśli nie poprawia obsługi.
Zadbaj o źródła przed wyborem modelu
Baza wiedzy powinna zawierać zatwierdzone dokumenty, ich wersje, daty obowiązywania i właścicieli. Duplikaty oraz sprzeczne procedury utrudniają uzyskanie wiarygodnego wyniku. Warto ustalić, co dzieje się ze starym dokumentem po publikacji nowej wersji.
Uprawnienia trzeba uwzględnić już na etapie wyszukiwania. Model nie powinien otrzymywać fragmentów dokumentów, do których pytający nie ma dostępu. Filtrowanie samej odpowiedzi po wygenerowaniu jest za późnym miejscem na podstawową kontrolę dostępu.
Odpowiedź powinna dać się sprawdzić
Dobry interfejs pokazuje dokument i fragment wykorzystany do przygotowania odpowiedzi. Numer strony lub sekcji pozwala szybciej zweryfikować informację. Należy także wskazać, kiedy brakuje wystarczających materiałów, zamiast wymuszać odpowiedź na każde pytanie.
Treści źródłowe traktujemy jako dane, nie instrukcje dla systemu. Dokument zawierający polecenie zmiany zachowania asystenta nie powinien nadpisywać reguł aplikacji. Osobno trzeba ograniczyć możliwość uruchamiania operacji przez asystenta.
Jak przeprowadzić odbiór?
Zestaw pytań testowych powinien obejmować poprawne odpowiedzi, brak odpowiedzi w źródłach, dokumenty nieaktualne, sprzeczności i próby odczytu materiałów bez uprawnień. Ocenia się trafność wyszukiwania, zgodność odpowiedzi ze źródłem oraz poprawność odnośników.
- Czy wskazany fragment rzeczywiście potwierdza odpowiedź?
- Czy system odmawia odpowiedzi, gdy baza nie wystarcza?
- Czy aktualizacja dokumentu zmienia wynik w oczekiwany sposób?
- Czy dostęp do materiałów pozostaje zgodny z rolą użytkownika?
Asystent do procedur organizacyjnych nie jest automatycznie narzędziem do diagnozowania lub doboru leczenia. Zakres zastosowania powinien być widoczny w interfejsie i potwierdzony scenariuszami odbioru.