Curs gratuit de AI · 71 de lecții
Lecția 33 – De ce „uită” ChatGPT: context, memorie și RAG
Lucrezi de o oră cu ChatGPT la un proiect. La început i-ai spus că bugetul maxim e 50.000 de lei. După multe mesaje îți propune o variantă de 72.000 de lei și vorbește de parcă limita n-ar fi existat. Pare că a uitat. Te întrebi dacă AI-ul are memorie sau nu și cum faci să țină cont de limită până la capăt.
Ce înveți în lecția 33
- Pe ce se bazează ChatGPT când răspunde: pe ce a învățat la antrenare și pe informațiile primite pentru cererea de acum
- Cum faci ca ChatGPT să țină cont de bugetul dat la început: îl scrii din nou în cererea finală
- Trei căi prin care ajunge informația la model: mesajul tău, ce reține aplicația (Memory), ce găsește ea căutând în documente (RAG)
- Cum folosești Memory și Custom Instructions ca să nu-ți mai repeți preferințele, de exemplu limba, în fiecare conversație nouă
- Cum poate un asistent AI să răspundă din procedurile firmei: RAG caută fragmentul potrivit și îl adaugă la întrebare
- Cum te ajută citarea sursei: îți arată exact documentul și pasajul pe care s-a bazat răspunsul
- Cum găsești ușor unde s-a pierdut o informație când ChatGPT pare că a uitat-o
Unelte folosite în lecție: ChatGPT.
Interesant
Un asistent AI poate răspunde dintr-o arhivă cu mii de documente fără să le primească pe toate. Când pui întrebarea, sistemul caută fragmentul potrivit și trimite modelului doar fragmentul acela, împreună cu întrebarea. Modelul lucrează apoi cu el la fel ca atunci când i-l dai tu.
În practică
Când ceri recomandarea finală într-o conversație lungă, scrie limita din nou chiar în cerere: „Recomandă varianta optimă, cu buget total de maximum 50.000 de lei.” Te costă o propoziție, iar modelul are bugetul chiar în cererea la care răspunde.
ChatGPT e ca un coleg priceput care lucrează doar cu pagina deschisă din carnetul lui. Bugetul pe care i l-ai dat acum o oră poate să nu mai fie pe pagina aceea. Îl scrii din nou pe pagina de acum și colegul îl are iar sub ochi.
Pentru cine e: Cine lucrează în ChatGPT la proiecte lungi, cu cifre și limite date la început, și vrea să știe de ce AI-ul le pierde pe drum.
Vreau lecțiile complete în PDF prin email
Pe scurt
De ce „uită” ChatGPT ce i-am spus la începutul conversației?
Modelul vede din conversație doar ce pune aplicația în contextul cererii de acum. Într-o conversație lungă, contextul se aglomerează, iar o limită spusă la început poate ajunge într-o parte a conversației căreia modelul îi dă mai puțină atenție. Răspunsul poate suna convingător chiar dacă nu ține cont tocmai de condiția pe care ai pus-o. De aceea ajută să repeți limita în cererea finală.
Ce este RAG (Retrieval-Augmented Generation)?
RAG e un mecanism din aplicație care aduce informația din documente exact în momentul în care pui întrebarea. Sistemul caută, alege fragmentele relevante și le pune în aceeași cerere cu întrebarea, apoi modelul răspunde din ele. Te ajută când ai prea multe documente ca să le dai pe toate. Când răspunsul citează sursa, știi exact unde să te uiți dacă miza e mare.
Cum fac ca ChatGPT să țină minte preferințele mele de la o conversație la alta?
Pentru asta ai două funcții. În Custom Instructions scrii tu ce vrei să știe ChatGPT despre tine și cum să răspundă. Memory alege și rezumă singură detalii din conversații, de exemplu că preferi răspunsuri în română, și le readuce când sunt relevante. Pentru prețuri, contracte sau proceduri care se schimbă, îi dai documentul actual.
Primești lecțiile pe email, câte una pe săptămână
Lecția 1 vine imediat. Gratuit, mereu. O citești și decizi tu dacă merită să continui.
Inginer. Lucrez de peste 20 de ani în tehnologii emergente și AI. Construiesc sisteme cu modele de limbaj pentru firme și explic AI-ul pe românește: la conferințe, la TV, în workshopuri și în cursul ăsta.