Jak sprawdzić, czy cytowanie w odpowiedzi AI rzeczywiście wspiera podaną informację? Podziel odpowiedź na pojedyncze twierdzenia, przypisz im cytowane materiały i porównaj treść z odpowiednimi fragmentami źródeł. W proponowanej procedurze FunkyMEDIA osobno oceniamy zgodność, pełność potwierdzenia i przypadki nierozstrzygnięte. Obecność linku nie zastępuje sprawdzenia jego treści.

Odpowiedź może poprawnie wskazywać stronę firmy, a jednocześnie przypisywać jej nieaktualny zakres usług. Może również łączyć prawdziwą informację z dodatkową obietnicą, której cytowany materiał nie zawiera. Ocena całej wypowiedzi jednym „tak” lub „nie” ukrywa takie różnice.

Zacznij od zapisu odpowiedzi

Zachowaj pytanie, datę, narzędzie, dostępne ustawienia oraz pełną odpowiedź z odnośnikami. Zapis powinien pozwolić odtworzyć, które cytowanie stało obok którego fragmentu.

W serii FunkyMEDIA proponujemy nadawać odpowiedzi i twierdzeniom osobne identyfikatory. Dzięki temu późniejsza korekta jednej oceny nie wymaga przepisywania całego badania.

Jeżeli nie można otworzyć źródła, zapisz problem dostępu. Nie traktuj go automatycznie jako dowodu, że twierdzenie jest fałszywe.

Jedno zdanie może zawierać kilka twierdzeń

Rozważ fikcyjną odpowiedź: „Firma Alfa prowadzi audyty, wdraża zmiany i zapewnia wynik w ciągu 30 dni”.

W tym zdaniu znajdują się co najmniej trzy informacje:

  • firma oferuje audyt;
  • firma wykonuje wdrożenia;
  • firma zapewnia określony wynik w podanym terminie.

Źródło może potwierdzać tylko pierwszą z nich. Dlatego w roboczym rejestrze FunkyMEDIA nie przyznajemy całemu zdaniu statusu potwierdzonego na podstawie samego wystąpienia słowa „audyt”.

Zachowuj również warunki: rynek, wersję usługi, okres, jednostkę i ograniczenia. Usunięcie jednego z nich może zmienić znaczenie informacji.

Jakie statusy zastosować?

Status

Znaczenie w proponowanej procedurze

Potwierdzone

Materiał wspiera całe twierdzenie w podanym zakresie

Częściowo potwierdzone

Materiał wspiera część informacji lub wymaga zawężenia

Sprzeczne

Materiał zawiera informację niezgodną z twierdzeniem

Brak potwierdzenia

Sprawdzony materiał nie daje podstaw do przyjęcia twierdzenia

Nierozstrzygnięte

Dostęp lub niejednoznaczność uniemożliwiają ocenę

Brak potwierdzenia w jednym źródle nie dowodzi, że informacja jest fałszywa. Opisuje relację między konkretnym twierdzeniem a sprawdzonym materiałem.

Jeżeli odpowiedź odwołuje się do kilku źródeł, zapisz ocenę każdego z nich oraz ocenę łączną. Dwa materiały mogą wspierać różne części tej samej informacji.

Znajdź fragment, a nie tylko właściwą domenę

Otwórz cytowany adres i odszukaj dowód dotyczący badanego twierdzenia. Strona główna firmy może potwierdzać jej nazwę, ale niekoniecznie termin realizacji konkretnej usługi.

Zachowaj lokalizację fragmentu, datę weryfikacji i krótki zapis potrzebny do kontroli. Nie przypisuj źródłu informacji wywnioskowanej wyłącznie z nazwy kategorii lub tytułu strony.

W analizie FunkyMEDIA warto także oddzielić deklarację oferty od dowodu realizacji. „Oferujemy usługę” i „wykonaliśmy projekt z takim wynikiem” wymagają innych materiałów.

Przykład rekordu oceny

Poniższe dane są fikcyjne i nie opisują wyników FunkyMEDIA.

{  "answer_id": "a-025",  "claim_id": "c-002",  "claim": "Firma Alfa wdraża zmiany w ramach audytu",  "source_url": "https://example.com/oferta",  "support_status": "contradicted",  "evidence_note": "Oferta wyłącza wdrożenie z zakresu audytu",  "checked_at": "2026-11-16",  "review_status": "reviewed" } 

Dodaj identyfikator wersji lub kopii materiału, jeżeli treść może się zmieniać. Ocena odnosi się do sprawdzonego stanu źródła.

Co mierzyć w raporcie?

Dla małej próbki zacznij od liczebności: ile twierdzeń wyodrębniono i ile otrzymało każdy status.

Załóżmy ilustracyjnie, że oceniono 20 twierdzeń: 12 potwierdzono w pełni, 3 częściowo, 2 były sprzeczne, 2 bez potwierdzenia, a 1 nierozstrzygnięte. Możesz podać, że pełne potwierdzenie ma 12 z 20 zaplanowanych ocen, czyli 60%. Pokaż też pozostałe kategorie.

Nie dopisuj częściowego potwierdzenia do pełnego bez jawnej reguły. Jeśli używasz punktów, opisz ich znaczenie i sposób agregacji. Status nierozstrzygnięty powinien pozostać widoczny.

To propozycja ręcznego audytu FunkyMEDIA, a nie implementacja standaryzowanego benchmarku.

Jak odnoszą się do tego badania?

Praca „Enabling Large Language Models to Generate Text with Citations” przedstawia benchmark ALCE, który rozdziela między innymi poprawność odpowiedzi i jakość cytowań. Pokazuje to potrzebę oceny więcej niż samej obecności odnośników. Publikacja Gao i współautorów, EMNLP 2023.

Własny audyt może korzystać z podobnego rozróżnienia, ale powinien zachować własne definicje i ograniczenia. Nie nazywaj wyniku miarą ALCE, jeśli nie stosujesz metodologii tego benchmarku.

Kiedy potrzebna jest druga ocena?

Jeżeli twierdzenie łączy kilka warunków, wymaga interpretacji lub ma istotne znaczenie dla klienta, skieruj je do ponownego sprawdzenia. Zachowaj pierwotną ocenę, uzasadnienie i wynik rozstrzygnięcia.

W proponowanej procedurze FunkyMEDIA próbka oceniona przez dwie osoby pomaga ujawnić niejasne reguły. Rozbieżności są informacją o procesie, którą warto wykorzystać do doprecyzowania instrukcji.

Jak wykorzystać wynik?

Błędny opis oferty kieruje uwagę na konkretne stwierdzenie i źródło. Możesz sprawdzić aktualność własnych materiałów, usunąć sprzeczności lub doprecyzować zakres. Nie zakładaj, że sama korekta strony natychmiast zmieni odpowiedzi wszystkich narzędzi.

Po aktualizacji wykonaj kolejne obserwacje i zachowaj ich warunki. Dzięki temu porównujesz treść odpowiedzi, a nie tylko liczbę linków.

Podejście do dowodów opisuje metodologia FunkyMEDIA. Zakres wsparcia przedstawiają usługi AI Search FunkyMEDIA, a kolejne materiały znajdziesz na LinkedIn FunkyMEDIA i Facebooku FunkyMEDIA.