Că tot am scris de faptul că sunt la omul (relativ) liber din aprilie, uite o întâmplare chef’s kiss proasăpătă.
Zilele trecute, un utilizator Cursor IDE (editor de cod bazat pe AI) s-a trezit brusc deconectat când a încercat să folosească aplicația pe mai multe dispozitive. Când a contactat suportul tehnic, a primit un răspuns automat de la un bot AI (bineînțeles) care susținea că asta e noua politică a companiei – un utilizator poate fi conectat doar pe un singur dispozitiv.
Evident că nu exista nicio astfel de politică. Botul bazat pe un LLM pur și simplu a inventat-o, pentru că asta face. Halucinează, nu răspunde factual corect.
În jobul anterior, echipa mea evalua constant aplicații de genul ăsta în speranța că ar putea fi relevante pentru compania noastră. Am testat o grămadă de chestii, inclusiv generatoare automate de cod, am implementat și soluțiile noastre, de toate. Cursor avea marketing cool și a atras multă atenție, fiind promovat de influenceri care mai târziu s-au dovedit a fi investitori – o tactică destul de dubioasă, sincer. Dar să trecem peste.
Aplicația părea totuși interesantă și oferea o experiență mai bună decât GitHub Copilot în VSCode. Dar ca toate uneltele AI, codul generat era adesea slab și tot trebuia să știi ce faci ca să verifici că e corect, în loc să pasezi responsabilitatea asta colegilor care îți revizuiesc PR-urile.
Când utilizatorii de Cursor au început să compare notițele și să realizeze că mai mulți primeau aceeași informație falsă, reacțiile au fost geniale. Un user furios a scris pe Reddit (acum șters): „Asta este ABSOLUT INACCEPTABIL. Am zece mașini pe care le folosesc și nu vreau zece abonamente diferite. Anulez azi, gata!”
Pe Hacker News, un comentariu a captat perfect ironia situației: „AI nu e o unealtă, e o mică birocrație kafkiană în interiorul codului tău. Funcționează azi? Da! De ce? Cine știe! Va funcționa mâine? Să sperăm!”
Non-incidentul ăsta care totuși a stricat ziua multora care se bazează pe tipul ăsta de unelte (și unealta asta în mod special) arată cât de periculos e să te bazezi pe AI în orice legat de business. Ideea că AI-ul va înlocui suportul pentru clienți în momentul de față e ridicolă. Se încearcă din greu de câțiva ani, când nu făceam LLM-uri ci machine learning (sau linear regression), dar tot nu iese sau nu există modele de business foarte profitabile. Când cineva contactează suportul, probabil e deja frustrat, și să-l trimiți la un robot în loc de un om real poate distruge percepția despre brandul tău. Știu că multora nu le pasă, dar sunt naivi sau la început de drum, în companii care probabil nu au departamente de marketing pentru că ce ne trebuie nouă asta? Cred că oamenii de la Cursor sunt prea ocupați ca să fi auzit de scadalul Air Canada,care au fost dați în judecată pentru un bot care dădea informații greșite. Pun pariu că utilizatorii Cursor sunt probabil prea tineri să citească știri și ei.
Echipa Cursor a recunoscut eventual că răspunsul a fost generat de un bot și că nu exista nicio politică nouă, ci doar o eroare în backend. Dar deja mulți utilizatori își anulaseră abonamentele. Chef’s kiss într-adevăr. Cumva, se merită unii pe alții.
Nu sunt super optimistă în privința AI-ului momentan și oricum cred că majoritatea îl folosește greșit. Acum încep să fiarbă în suc propriu un pic, și recunosc că e ironic când o companie care vinde AI devine victima propriului AI.
Poate e mai bine să folosim AI-ul ca asistent, nu ca înlocuitor. Cel puțin până nu mai inventează politici false când îl întrebi ceva simplu.
Lasă un răspuns