Jak sprawdzić, czy AI poleca markę przy pytaniach typu „która firma jest najlepsza”? Zdefiniuj scenariusz wyboru, zachowaj warunki prób i oceniaj rolę marki w odpowiedzi. W proponowanej procedurze FunkyMEDIA sama kolejność nazw nie jest rankingiem jakości. Osobno zapisujemy rekomendację, jej uzasadnienie i materiały, które ją wspierają.
Pytanie „jaka agencja jest najlepsza?” pozostawia wiele niewiadomych. Innego partnera szuka mała firma potrzebująca audytu, a innego międzynarodowy sklep z własnym zespołem programistów. Odpowiedzi na te pytania nie powinny trafiać do jednego zestawienia bez zachowania kontekstu.
Zdefiniuj sytuację kupującego
Zanim rozpoczniesz obserwacje, zapisz kategorię usługi, rynek, język, potrzeby i ograniczenia klienta. Ustal także, czy badanie dotyczy ogólnego odkrywania dostawców, czy wyboru według konkretnych kryteriów.
W serii FunkyMEDIA proponujemy trzy osobne scenariusze:
- rozpoznanie firm działających w danej kategorii;
- porównanie dostawców dla określonego projektu;
- sprawdzenie informacji o wskazanej marce.
Nie łącz wyników tych scenariuszy w jeden „wynik rekomendacji”. Pytanie zawierające nazwę firmy zwiększa szansę jej wystąpienia już przez samą konstrukcję.
Przygotuj wersjonowany zestaw pytań
Przykładowe pytania mogą dotyczyć wyboru dostawcy audytu, wykonawcy wdrożeń lub partnera do stałego pomiaru. Zapisz je przed rozpoczęciem badania i zachowaj identyfikatory.
Jeżeli zmieniasz pytanie po obejrzeniu wyników, oznacz nową wersję zestawu. Nie porównuj jej bezpośrednio z poprzednią, jakby warunki pozostały identyczne.
W proponowanym rejestrze FunkyMEDIA pytania bez nazwy marki służą obserwacji spontanicznej obecności. Pytania z nazwą marki pomagają oceniać sposób jej opisywania. To dwa różne zadania.
Zapisz warunki każdej obserwacji
Zachowaj datę, narzędzie, język, widoczne ustawienia i historię rozmowy. Jeśli porównujesz niezależne pytania, ustal sposób rozpoczynania świeżych rozmów.
Nie zakładaj, że wszystkie warunki systemu są znane. Zapisuj dostępne informacje i oznaczaj brakujące. Pełna odpowiedź wraz z linkami jest ważniejsza niż sam wycięty fragment z nazwą firmy.
W procedurze FunkyMEDIA błędy techniczne i odmowy odpowiedzi pozostają widoczne w rejestrze. Nie zastępują poprawnej odpowiedzi bez wzmianki.
Oceniaj rolę nazwy, a nie tylko obecność
Sytuacja w odpowiedzi
Proponowana klasyfikacja
Firma wymieniona jako przykład rynku
Wzmianka
Firma wskazana jako opcja dla opisanego projektu
Rekomendacja warunkowa
Firma przedstawiona jako preferowana z uzasadnieniem
Jawna preferencja
Nazwa pojawia się w ostrzeżeniu lub krytyce
Wzmianka w kontekście negatywnym
Podobna nazwa dotyczy innego podmiotu
Błędna identyfikacja
Znaczenie jest niejasne
Do rozstrzygnięcia
Zasady klasyfikacji powinny być zapisane przed oceną. Sama lista kilku firm nie musi wskazywać, że pierwsza jest lepsza od pozostałych.
W zestawieniu FunkyMEDIA warto zachować krótki fragment uzasadniający przypisany status. Dzięki temu druga osoba może sprawdzić decyzję.
Co zrobić z numerowaną listą?
Numeracja może porządkować tekst, przedstawiać kolejność alfabetyczną albo wyrażać preferencję. Sprawdź, co mówi sama odpowiedź.
Jeśli model nie określa zasad kolejności, zapisz pozycję wyłącznie jako cechę tej obserwacji. Nie przedstawiaj jej jako trwałego miejsca firmy na rynku.
Nawet jawna preferencja dotyczy odpowiedzi udzielonej w konkretnych warunkach. Do oceny jakości dostawcy potrzebne są dodatkowe dane odpowiadające potrzebom klienta.
Sprawdź uzasadnienia i źródła
Jeśli odpowiedź powołuje się na doświadczenie, opinie lub zakres usługi, przejdź do cytowanych materiałów. Sprawdź, czy potwierdzają właśnie te informacje.
Badanie ALCE rozdziela poprawność odpowiedzi i jakość cytowań. To użyteczne przypomnienie, że obecność odnośnika nie zastępuje oceny jego treści. Publikacja Gao i współautorów, EMNLP 2023.
W proponowanej procedurze FunkyMEDIA wynik „rekomendowana firma” i wynik „uzasadnienie potwierdzone” otrzymują osobne pola.
Przykład rekordu
Poniższe dane są fikcyjne.
{ "observation_id": "obs-027", "scenario_id": "audyt-mala-firma", "prompt_version": "v1", "brand_present": true, "role": "conditional_recommendation", "list_position": 2, "ordering_rule": "not_stated", "evidence_status": "requires_review" } Rekord nie mówi, że firma jest drugą najlepszą agencją. Mówi, że w tej odpowiedzi wystąpiła na drugim miejscu listy, której zasady nie zostały określone.
Jak przedstawić wynik zbiorczy?
Załóżmy ilustracyjnie, że zaplanowano 30 obserwacji jednego scenariusza. Oceniono 28 odpowiedzi, w 12 wystąpiła marka, a w 7 została wskazana jako opcja dla projektu.
Raport może pokazać kompletność 28/30, obecność 12/28 oraz rekomendację warunkową 7/28. Dodaj liczbę nierozstrzygniętych ocen i nie mieszaj wyników z innymi scenariuszami.
W raporcie FunkyMEDIA taki zapis opisuje badaną próbkę. Nie oznacza udziału w całym rynku ani prawdopodobieństwa uzyskania rekomendacji przez każdego użytkownika.
Jak wykorzystać obserwacje?
Sprawdź, które informacje o marce są poprawne, jak uzasadniono jej dopasowanie i gdzie pojawiają się rozbieżności. Na tej podstawie można zaplanować weryfikację oferty lub materiałów źródłowych.
Podejście do pracy z dowodami opisuje metodologia FunkyMEDIA. Zakres wsparcia przedstawiają usługi AI Search FunkyMEDIA, a kolejne materiały znajdziesz na LinkedIn FunkyMEDIA i Facebooku FunkyMEDIA.