Informatycy przestają być członkami orkiestry, stają się dyrygentami – donoszą z różnych stron przedstawiciele dziedzin wszelakich. Innymi słowy, indywidualni programiści nie muszą już pisać kodu, za to zachęca się ich, by podchodzili do swoich zadań tak, jakby kierowali programistyczną orkiestrą złożoną z asystentów, takich jak ChatGPT, z których każdy to potencjalnie osobny model sieci neuronowej wytrenowany na wyspecjalizowanym odcinku wiedzy informatycznej. Pojawia się jednak problem. Aby dyrygować skutecznie informatyk musi poszerzyć swoje kwalifikacje o umiejętności dotąd nie kojarzone z pisaniem kodu: o sztukę pisania promptów i sprawne posługiwanie się arsenałem językowym. Jak zlecić napisanie porcji kodu tak, by sztuczna inteligencja nie szła na skróty, unikała banału i nie halucynowała? Czy dzisiejsze systemy dialogowe są rzeczywiście sprawnym językowo członkiem informatycznej orkiestry? Zdaje się, że jednak nie. Dzisiejsza sztuczna inteligencja językowa ma problem ze swoim głównym tworzywem, kontekstem i medium – z językiem.

Ilustracja do pierwszego paragrafu niniejszego tekstu stworzona w DALL-E

Takie wnioski płyną z dyskusji o językowych umiejętnościach ChatGPT, którą toczą pisarze, krytycy i czytelnicy Times Literary Supplement. Językową nieporadność dużych modeli językowych – według TLS – widać w jaskrawy sposób na kilku frontach.

Po pierwsze, ChatGPT bywa rozpoznawalnie staroświecki. "Przez ponad trzydzieści lat mojego nauczania w Berkley w esejach licencjackich moich studentów nie pojawiło się ani razu słowo "zgłębiać" (ang. delve), aż do dziś – pisze Eric Naiman, profesor literatury rosyjskiej, którego studenci w ostatnich dwóch latach korzystają z pomocy ChatGPT w pisaniu wypracowań o Dostojewskim. Oto zatem, z jednej strony, Dostojewski "zgłębia" problematykę destrukcyjnych sił ludzkiego umysłu lub ekonomicznych zmagań jednostki, a z drugiej ten czy inny esej studencki ma na celu "zagłębienie się" w etyczne i egzystencjalne problemy dziewiętnastowiecznej Rosji. Sama twórczość autora Braci Karamazow, jak dorzuca Naiman, od zawsze była określana jako "złożona" bądź "zawiła", ale nigdy "zniuansowana" i "wieloaspektowa" – kolejne ulubione słowa i zarazem znaki rozpoznawcze zbyt rozgadanej, mało precyzyjnej, szablonowej treści, którą bez umiejętnego promptu otrzymamy od ChatGPT.

Po drugie, ChatGPT jest – po wojskowemu wręcz – szablonowy. Niemal każda wygenerowana wypowiedź ciągła, pisana płynną prozą, jest tak naprawdę przebraną w paragrafy listą rzeczy, którą maszyna chce dla nas wypełnić i wyczerpać. Na końcu takiej listy najczęściej pojawia się banalne uogólnienie w stylu "a potem żyli długo i szczęśliwie". Mary Beard, czołowa publiczna intelektualistka Wielkiej Brytanii, z zawodu profesor literatury antycznej, zapytała ChatGPT o rolę Cycerona i jego mów (słynna "O tempora! O mores!") w wydarzeniach wokół spisku Katyliny. ChatGPT przyjął niezwykle uproszczoną, pozbawioną niuansów pro-cycerońską wypowiedź, która zostaje podsumowana zdaniem na poziomie ośmioklasisty: „Rola Cycerona w udaremnieniu spisku podniosła jego status jako męża stanu i mówcy, czyniąc go jedną z najbardziej znanych postaci Rzymu”. Beard przypomina, że nie tak długo po zdemaskowaniu Katyliny Juliusz Cezar zmusza Cycerona do opuszczenia Rzymu. Odmowa czerpania ze źródeł, niechęć do ukazywania dwóch stron medalu, tendencja do prezentowania budujących wniosków i zakończeń czyni z językowej sztucznej inteligencji zasób wiedzy dużo uboższy od Wikipedii – podsumowuje Beard.


Po trzecie, ChatGPT potrafi dość zuchwale kłamać i wymigiwać się od trudniejszych zadań. Mary Beard na pytanie o swój własny biogram otrzymała mieszaninę prawdy (edukacja, część dorobku) z nieprawdą (dyplom, imiona rodziców). Jeden z czytelników TLS, Brian Reffin Smith, wystawił model na jeszcze inną, językową próbę, którą po polsku i z użyciem aktualnego modelu ChatGPT 4.5 pozwolę sobie zrekonstruować i przytoczyć:


MP: Czy wiesz, co to jest lipogram?

ChatGPT: Oczywiście! Lipogram to tekst, który został napisany z wyłączeniem określonej litery lub określonych liter. To zabawna i czasem trudna sztuka pisania, która wymaga od autora kreatywnego podejścia do unikania używania pewnych liter.

MP: Skomponuj jednozdaniowy lipogram o przygodach kota, w którym brakuje litery "o":

ChatGPT: Kot sprytnie żeglował po dachach, podążając za zmiennym światłem gwiazd.

MP: Czy w powyższym lipogramie słowa "kot", "po" i "podążając" nie zawierają litery "o"?

ChatGPT: Przepraszam za pomyłkę! Oczywiście, "kot", "po" i "podążając" zawierają literę "o". Pozwól, że poprawię to:

Głodny felis skakał z dachu na gałęzie, tropiąc myszy w ciszy nocnej.

Dlaczego w jednym, krótkim lipogramie, w którym miało brakować "o" litera pojawia się aż trzykrotnie, a programom dopiero po upomnieniu używa kociego synonimu, choć nowy lipogram zawiera trzy kolejne "o"? Nieznane są ścieżki językowej sztucznej inteligencji. Trudno zaprzeczyć, że jest ona obecnie najpotężniejszym przykładem komputerowej czarnej skrzynki, o której działaniu użytkownik wie tyle, co nic. Duże modele językowe wciąż przypominają szkolnego lizusa, który pragnie zadowolić swojego nauczyciela kosztem rzetelnej i zwięzłej odpowiedzi, zakładając, że byle jaka odpowiedź jest lepsza, niż żadna. Dla programisty-dyrygenta – na dowolnym etapie projektu – oznaczać to może poważny zgrzyt, a nawet groźbę zawalenia się podłogi pod całą orkiestrą.

Na szczęście, to właśnie niedoskonałości systemów takich jak ChatGPT, pomagają zabezpieczyć się przed katastrofą. Dobrego asystenta poznamy po jego wytworach! Czego unikać, na co stawiać nacisk i co warto wielokrotnie powtarzać w interakcji z modelem – sztuka promptu, umiejętność jak najbardziej językowa, będzie musiała tym wyzwaniom sprostać. Programista, aby być dyrygentem informatycznej orkiestry, która odnosi sukces, powinien tę sztukę opanować.