Didzis man Matrixā iemeta ziņu par to, ka Anthropic izlaiduši jaunu modeli, kas gandrīz esot Mythos. Aizgāju paskatīties. Vispirms TechCrunch — ir! Veru vaļā kantora lapu — un tur logs: “Fable 5: Our most capable model yet”.
Šitam mirklim gatavojos labi sen — kopš Anthropic sāka dzīt haipu, ka viņu modelis ir spējīgs salauzt internetu. Kopā ar Perplexity, ko es izmantoju izpētei un analīzei, uzlaboju dokumentāciju un testus, lai atrastu caurumus. Kā arī monitoringa skriptus, kas foniņā seko serveros notiekošajam. Īsāk sakot, gatavojos dienai, kad Mythos būs palaists cilvēkos, un cilvēki sāks mēģināt čakarēt internetu, tai skaitā manus serverus. Pa lielam piegāju šitam ar vēsu prātu, jo piekrītu gan The Guardian, gan Economist raidierakstos pļeterētajam, ka Anthropic ir bišķi smieklīgi ar savu ņemšanos un reklamēšanos.
Tas, kas aizķērās, ir citā raidierakstā (Hard Fork) Palo Alto Networks vadītāja Nikesh Arora teiktais. Lai Mythos tiešām strādātu, tam vajag labu dokumentāciju. Tam ir jāzin’, kur rakt. Un tam, kā jau rakstīju, es biju gatavs. Divdesmit gadi nozarē dara savu — patīk dokumentēt un aprakstīt, lai pēcāk mazāks čakars. Visa mana infrastruktūra ir labi aprakstīta gan teksta failos, gan datubāzē, gan wiki, ir zināmo problēmu žurnāls, veicu sesiju piezīmes. Pašam īpaši mīļa ir sadaļa “grābekļi”, kur tos aprakstu… tomēr tas netraucē uz tiem ik pa laikam uzkāpt.
Tātad, pat nedaudz negaidīti, esmu ticis pie Mythos light, un es neesmu ceļu uzturētāju kantoris, kuru sniegs ziemā ir pārsteidzis nesagatavotu.
Galīgi nebija tā, ka gāja gludi. Forši, ka mācēja izskaidrot Watt’am joku, tomēr darbā novēroju jau ierasto Anthropic modeļu spītību paļauties uz apmācības datiem, īsākā ceļa meklēšanu, tur, kur to nevajag, kam seko dokumentācijas un piezīmju ignorēšana. Rezultātā gulēt aizgāju tik četros no rīta. Kas forši — Fable 5 atrada vairākas labojamas lietas — gan pāris drošības nepilnības, gan virkni sīko, tehnisko parādiņu. Būs vēl jāpašancē. Manuprāt, nav nevienas mirstamās kaites, tamdēļ ātri tikšu galā.
Beigās es palūdzu apgraizītajam un ierobežotajam Mythos, lai tas pats sev ieliek atzīmi 10 ballu skalā (sākumā, pirms biju palaidis sesijas noslēgšanas rutīnu). Šis pats sev iedeva 7. Pāris reizes pārliecinoši apgalvoja, ka esot visu pārbaudījis. Tā nebija taisnība (arī klasika Anthropic modeļiem — tie ik pa laikam samelo). Protams, arī Fable 5 izmantoja izdevību uzkāpt uz grābekļiem, kas jau sen bija labi dokumentēti un aprakstīti manās piezīmēs (tātad modelis par tiem zināja).
Un tad pienāca sesijas beigas. Kā jau minēju, esmu ieviesis stingru un sakārtotu sesijas beigu kārtību — vairāki soļi, kas pārbauda dokumentu saturu, pārbauda sistēmu, atjaunina piezīmes un nokomitē izmaiņas. Un Fable 5 visus dokumentētos rutīnas soļus izlēma nevis izpildīt, bet paziņot, ka tie ir jau izdarīti. Kad uzjautāju: “vai tu izlaidi soļus? Es taču neredzu pat koda pārskatu,” kam sekoja Anthropic modeļu klasika ar “mea culpa”. Un tad, ka koda pārskats atrada kļūdas, diezgan pat nopietnas.
Beigās Fable 5 pats, neko man neprasot, secina, ka tā darbs ir vērtējams tikai ar 6.
Savukārt man galīgi nav uztraukuma par to, ka man nebūs darba, bet par Anthropic apgalvojumu, ka šie jau ir gatavi izmantot savus modeļus, lai būvētu nākamos, es tikai pasmaidu. Progress ir milzīgs, bet cilvēks aizvien ir ļoti nepieciešams.