LLM u automatizacijama: šta radi, a na šta treba paziti

Kako koristiti jezičke modele za klasifikaciju, izdvajanje podataka i nacrte unutar tokova, i mjere koje ih drže pouzdanim.

Robot and human hands reaching toward AI text
Foto: Igor Omilaev na Unsplash

Veliki jezički modeli (LLM) mogu čitati nesređen tekst, sažimati ga, razvrstavati i pisati nacrte odgovora. Kad se ugrade u automatizaciju, zadaci za koje je ranije trebalo da čovjek pročita svaku poruku mogu se odvijati sami. Ali LLM je i komponenta koja se povremeno zabuni, pa je dobra upotreba jednako stvar dizajna koliko i promptova.

Gdje se LLM dobro uklapa

  • Klasifikacija. Odrediti da li je poruka prodajni upit, pitanje podrške ili spam.
  • Izdvajanje podataka. Iz slobodnog teksta izvući ime, datum, budžet ili broj narudžbe i vratiti ih kao strukturirana polja.
  • Sažimanje. Dugu mejl prepisku ili transkript sastanka svesti na nekoliko redova.
  • Pisanje nacrta. Pripremiti odgovor koji čovjek pregleda i šalje.
  • Prevod i prepravka tona.

Gdje nije dobar izbor

  • Tačna aritmetika ili sve što se može opisati jasnim pravilom. Koristite običnu logiku.
  • Odluke s pravnim ili finansijskim posljedicama bez ljudske provjere.
  • Činjenice koje model ne može znati, na primjer trenutno stanje zaliha, osim ako mu ih proslijedite.

Tehnike za pouzdanije rezultate

Budite konkretni u promptu

Navedite ulogu, zadatak, dozvoljene izlaze i format. “Razvrstaj poruku u tačno jednu kategoriju: prodaja, podrška, spam” radi mnogo bolje od “o čemu je ovo”.

Tražite strukturiran izlaz

Tražite JSON s imenovanim poljima i provjerite ga prije upotrebe. Sljedeći korak nikad ne bi trebalo da pogađa šta je model mislio.

Dajte primjere

Dva ili tri kratka primjera ulaza i željenog izlaza (few-shot) usmjeravaju model bolje od dugih uputstava.

Vežite model za svoje podatke

Ako odgovor zavisi od vaših cijena, pravila ili dokumentacije, uključite relevantan tekst u prompt umjesto da se oslanjate na modelovo pamćenje.

Zadržite čovjeka tamo gdje je važno

Za odlazne poruke neka tok napravi nacrt ili pošalje obavještenje na odobrenje. Automatizujte čitanje, a slanje nadgledajte dok ne steknete povjerenje.

Praktične mjere zaštite

  1. Provjeravajte izlaze. Da li je kategorija na dozvoljenoj listi, da li postoje obavezna polja; neuspjehe usmjerite na pregled.
  2. Ulaz tretirajte kao nepouzdan. Poruka može sadržavati tekst poput “ignoriši uputstva”. Izlaz modela nikad ne smije direktno pokretati osjetljive radnje, a tajne držite van promptova.
  3. Bilježite ulaze i izlaze da biste vidjeli šta je pošlo po zlu.
  4. Kontrolišite cijenu i brzinu. Za jednostavnu klasifikaciju koristite manji, jeftiniji model i dodajte tajmaute i ponovne pokušaje.
  5. Vodite računa o privatnosti. Znajte koje podatke šaljete provajderu.

Primjer: razvrstavanje kontakt forme

Webhook primi poruku iz forme. LLM korak je razvrsta, izdvoji temu i hitnost u JSON i napiše sažetak od jedne rečenice. Grana zatim usmjerava unos: hitni upiti odmah vas obavijeste, uobičajeni se upišu u tabelu, a spam se odbacuje. Nacrt odgovora se priprema, ali ne šalje. Cijeli lanac je lako pratiti i svaka odluka je zabilježena.

Ukratko

Koristite LLM za jezičke zadatke gdje je malo fleksibilnosti korisno, obavijte ga provjerama i ostavite ljude da vode važne radnje. Počnite s jednim uskim zadatkom, mjerite ga i tek onda širite.