
Veliki jezički modeli (LLM) mogu čitati nesređen tekst, sažimati ga, razvrstavati i pisati nacrte odgovora. Kad se ugrade u automatizaciju, zadaci za koje je ranije trebalo da čovjek pročita svaku poruku mogu se odvijati sami. Ali LLM je i komponenta koja se povremeno zabuni, pa je dobra upotreba jednako stvar dizajna koliko i promptova.
Gdje se LLM dobro uklapa
- Klasifikacija. Odrediti da li je poruka prodajni upit, pitanje podrške ili spam.
- Izdvajanje podataka. Iz slobodnog teksta izvući ime, datum, budžet ili broj narudžbe i vratiti ih kao strukturirana polja.
- Sažimanje. Dugu mejl prepisku ili transkript sastanka svesti na nekoliko redova.
- Pisanje nacrta. Pripremiti odgovor koji čovjek pregleda i šalje.
- Prevod i prepravka tona.
Gdje nije dobar izbor
- Tačna aritmetika ili sve što se može opisati jasnim pravilom. Koristite običnu logiku.
- Odluke s pravnim ili finansijskim posljedicama bez ljudske provjere.
- Činjenice koje model ne može znati, na primjer trenutno stanje zaliha, osim ako mu ih proslijedite.
Tehnike za pouzdanije rezultate
Budite konkretni u promptu
Navedite ulogu, zadatak, dozvoljene izlaze i format. “Razvrstaj poruku u tačno jednu kategoriju: prodaja, podrška, spam” radi mnogo bolje od “o čemu je ovo”.
Tražite strukturiran izlaz
Tražite JSON s imenovanim poljima i provjerite ga prije upotrebe. Sljedeći korak nikad ne bi trebalo da pogađa šta je model mislio.
Dajte primjere
Dva ili tri kratka primjera ulaza i željenog izlaza (few-shot) usmjeravaju model bolje od dugih uputstava.
Vežite model za svoje podatke
Ako odgovor zavisi od vaših cijena, pravila ili dokumentacije, uključite relevantan tekst u prompt umjesto da se oslanjate na modelovo pamćenje.
Zadržite čovjeka tamo gdje je važno
Za odlazne poruke neka tok napravi nacrt ili pošalje obavještenje na odobrenje. Automatizujte čitanje, a slanje nadgledajte dok ne steknete povjerenje.
Praktične mjere zaštite
- Provjeravajte izlaze. Da li je kategorija na dozvoljenoj listi, da li postoje obavezna polja; neuspjehe usmjerite na pregled.
- Ulaz tretirajte kao nepouzdan. Poruka može sadržavati tekst poput “ignoriši uputstva”. Izlaz modela nikad ne smije direktno pokretati osjetljive radnje, a tajne držite van promptova.
- Bilježite ulaze i izlaze da biste vidjeli šta je pošlo po zlu.
- Kontrolišite cijenu i brzinu. Za jednostavnu klasifikaciju koristite manji, jeftiniji model i dodajte tajmaute i ponovne pokušaje.
- Vodite računa o privatnosti. Znajte koje podatke šaljete provajderu.
Primjer: razvrstavanje kontakt forme
Webhook primi poruku iz forme. LLM korak je razvrsta, izdvoji temu i hitnost u JSON i napiše sažetak od jedne rečenice. Grana zatim usmjerava unos: hitni upiti odmah vas obavijeste, uobičajeni se upišu u tabelu, a spam se odbacuje. Nacrt odgovora se priprema, ali ne šalje. Cijeli lanac je lako pratiti i svaka odluka je zabilježena.
Ukratko
Koristite LLM za jezičke zadatke gdje je malo fleksibilnosti korisno, obavijte ga provjerama i ostavite ljude da vode važne radnje. Počnite s jednim uskim zadatkom, mjerite ga i tek onda širite.