Curs gratuit de AI · 71 de lecții
Lecția 53 – AI pe calculatorul tău
Ai auzit că poți rula un model AI direct pe laptop. Merge fără internet și nu plătești pentru fiecare cerere. Sună bine. Dar te întrebi dacă merită efortul și cât de bun e un model care încape în memoria unui calculator obișnuit. Poate să-ți scrie un email ca lumea în română sau doar pare că poate?
Ce înveți în lecția 53
- Ce câștigi cu un model AI pe calculator: merge fără internet și nu plătești pentru fiecare cerere
- Ce poți face cu un model mic: reformulezi mesaje, extragi câmpuri dintr-un text, clasifici răspunsuri, faci rezumate scurte
- Cum alegi un model care încape în memoria calculatorului și cum ceri ajutorul unui chatbot pentru asta
- Ce spune numele unui model: 2b sau 4b indică mărimea, iar Q4 arată că e comprimat ca să ocupe mai puțin
- Cum instalezi Ollama, aplicația care rulează modele AI pe calculator, și pornești primul model
- Cum vezi ce modele ai descărcat și care rulează acum, apoi cum oprești sau ștergi un model
- Cum compari modelul local cu unul din cloud pe aceeași cerere, ca să vezi dacă îți ajunge
Unelte folosite în lecție: Ollama, Qwen3.5.
Interesant
Numele unui model local îți spune și dacă modelul a fost comprimat. Marcajul Q4 arată o comprimare prin cuantizare. Fișierul ocupă mai puțin și rulează mai ușor, dar modelul poate pierde din calitate față de o variantă cu precizie mai mare.
În practică
Gândește-te la o sarcină mică pe care o faci des, cum e reformularea unui mesaj. Trimite aceeași cerere modelului local și unui model din cloud și compară rezultatele. Dacă modelul local se descurcă, îl poți folosi pentru sarcina asta și fără internet, fără să plătești de fiecare dată.
Un model care încape pe laptop îți ajunge adesea ca să reformulezi un mesaj, să scoți date dintr-un text sau să faci o clasificare simplă. Limitele apar la problemele cu mulți pași, unde modelul se poate pierde.
Pentru cine e: Cine vrea să încerce un model AI pe propriul laptop, fără internet, și să vadă pe un test concret ce poate față de un model din cloud.
Vreau lecțiile complete în PDF prin email
Pe scurt
Ce calculator îmi trebuie ca să rulez un LLM local?
Contează mai ales memoria. Fișierul modelului trebuie să încapă în RAM sau în memoria unificată, alături de sistemul de operare, aplicația care rulează modelul și conversația. Dacă memoria se umple, răspunsul vine foarte încet sau modelul nici nu pornește. Modelele comprimate prin cuantizare ocupă mai puțin și rulează mai ușor, dar pot pierde din calitate.
La ce e bun un model AI rulat pe laptop?
La sarcini mici și clare: reformularea unui mesaj, extragerea câtorva câmpuri dintr-un text, clasificarea unor răspunsuri, variante de text sau rezumate scurte. Îl poți folosi și când n-ai internet, iar cererile nu te costă nimic în plus. Pentru raționament dificil, documente lungi, informații actuale sau texte foarte bune în română, un model de vârf din cloud se descurcă de regulă mai bine.
Merge un LLM local fără internet?
Da, după ce ai descărcat modelul. Ai nevoie de internet la instalare și la descărcare. Apoi modelul rulează pe calculatorul tău, așa că poți lucra cu el și când n-ai rețea. Fără o sursă conectată, cum ar fi căutarea pe web, nu cunoaște însă informațiile actuale.
Primești lecțiile pe email, câte una pe săptămână
Lecția 1 vine imediat. Gratuit, mereu. O citești și decizi tu dacă merită să continui.
Inginer. Lucrez de peste 20 de ani în tehnologii emergente și AI. Construiesc sisteme cu modele de limbaj pentru firme și explic AI-ul pe românește: la conferințe, la TV, în workshopuri și în cursul ăsta.