Jak działa detektor treści AI?

Aby lepiej zobrazować działanie detektorów treści AI przygotowaliśmy 2 teksty, z których pierwszy został wygenerowany przez Chat GPT, a drugi poddany korekcie. Z wykorzystaniem powyższych detektorów przeprowadzimy 5 testów dla każdego tekstu we wszystkich narzędziach i wyciągniemy wnioski.

1. AI Content Detector

Tekst wygenerowany przez ChatGPT:

5 badań: 99.98% – treści napisane przez człowieka, 0.02% – treści wygenerowane automatycznie

Tekst stworzony przez człowieka:

5 badań: 100% – treści napisane przez człowieka, 0% – treści wygenerowane automatycznie

Wnioski: Detektor uznał obydwa teksty jako stworzone przez człowieka, a treść sztuczną ocenił nieznacznie niżej. Mamy zatem remis 1:1.

2. Isgen AI

Tekst wygenerowany przez ChatGPT:

5 badań: 25% – treści napisane przez człowieka, 10% – treści mieszane, 65% – treści wygenerowane automatycznie

Tekst stworzony przez człowieka:

5 badań: 59% – treści napisane przez człowieka, 41% – treści wygenerowane automatycznie

Wnioski: Wyniki pokrywają się z rzeczywistością, dlatego 1 punkt przyznajemy człowiekowi.

3. Neural Writer

Tekst wygenerowany przez ChatGPT:

1 badanie: Przypisuję 95% pewności, że ten tekst został napisany przez człowieka, a nie model LLM, w oparciu o jego naturalny przepływ, zróżnicowaną strukturę zdań i przemyślane przejścia między akapitami.

2 badanie: Szacuję 70% prawdopodobieństwo, że ten tekst został napisany przez człowieka, a NIE przez sztuczną inteligencję, w oparciu o jego naturalny przepływ, zróżnicowaną strukturę zdań i brak szablonowych fraz, chociaż jego jasność i precyzja mogą być nieco podwyższone ze względu na informacyjny ton, który jest typowy dla treści generowanych przez sztuczną inteligencję.

3 badanie: Przypisałbym wskaźnik prawdopodobieństwa od 10% do 20%, wskazując, że ten tekst jest prawdopodobnie napisany przez człowieka. Tekst wykazuje naturalny tok pisania, używa złożonych zdań i ma zróżnicowane słownictwo, co wskazuje na pisanie przez człowieka.

4 badanie: Opierając się na mojej analizie, dałbym 95% pewności, że tekst ten został napisany przez człowieka, a nie model LLM. Pomimo tego, że tekst jest pouczający i dobrze skonstruowany, brakuje w nim charakterystycznych niezręcznych sformułowań, nadużywanych fraz i nienaturalnych struktur zdań, które często występują w treściach generowanych przez LLM.

5 badanie: Na podstawie mojej analizy oszacowałbym, że ten tekst ma 95% prawdopodobieństwa, że został napisany przez człowieka, a nie sztuczną inteligencję.

Tekst stworzony przez człowieka:

1 badanie: Prawdopodobieństwo, że tekst ten został napisany przez człowieka oceniam na 92%. Chociaż tekst wykazuje pewne oznaki wygenerowania przez model sztucznej inteligencji, takie jak zbyt formalny ton, powtarzanie fraz i brak osobistego charakteru, zawiera również zniuansowany język, środki retoryczne i informacje kontekstowe, które sugerują ludzki wkład autorski.

2 badanie: Oceniam, że tekst ma 80% szans na to, że został napisany przez człowieka, a nie model LLM.

3 badanie: Oceniam, że tekst ten ma 70% prawdopodobieństwa, że został napisany przez człowieka, a nie sztuczną inteligencję, ze względu na stosunkowo naturalny język, zróżnicowaną strukturę zdań i subtelne wykorzystanie przykładów i fraz, które nie wydają się być szablonowe lub nadmiernie formalne.

4 badanie: Szacuję, że ten tekst ma 95% szans na to, że został napisany przez człowieka, a nie model LLM, ze względu na jego logiczną strukturę, zróżnicowaną długość zdań i naturalny przepływ, które są charakterystycznymi cechami tekstu pisanego przez człowieka.

5 badanie: Oceniam, że ten tekst ma 90% szans na to, że został napisany przez człowieka, a NIE sztuczną inteligencję, ponieważ wykazuje naturalny przepływ, zróżnicowaną strukturę zdań i brak szablonowych powtórzeń, mimo że zawiera pewne treści informacyjne i techniczne.

Wnioski: Wyniki są niemal identyczne, dlatego tutaj również mamy remis.

Wynik końcowy: Człowiek 3-2 AI