Što je ovdje tijek rada doista
Većina alata zvanih „tijekovi" u području umjetne inteligencije lanci su upita s tankim slojem povrh. Graditelj ToRuna usmjereni je aciklički graf (DAG) tipiziranih koraka: povezujete pozive modela, pozive alata, uvjetna grananja, petlje i podtijekove u graf, a pogon ih izvodi redom ovisnosti, usporedno gdje graf to dopušta.
Svaki je korak punopravan entitet s vlastitom postavkom: vrsta koraka (poziv LLM-a, pretraga weba, izvršavanje koda, stvaranje slike, dohvat, pretvorba i tako dalje), ulazna shema, politika pogreške (brzo pasti, ponoviti s odgodom, prijeći na zamjenu), gornja granica proračuna izvršenja po koraku i vremensko ograničenje.
Usmjeravanje modela unutar svakog LLM koraka prolazi istim cjevovodom sposobnosti kao i sve ostalo u ToRunu. Objavite što trebate — strukturirani izlaz, vid, uporabu alata, zaključivanje, kontekstni prozor od barem N tokena — a izvršitelj razrješava najbolje odgovarajući model među pružateljima dostupnima u tom trenutku. Vrati li vaš omiljeni pružatelj 5xx, pričuvni lanac preuzima automatski.
Izvršitelji s prednošću kvaliteti i što to mijenja u praksi
Kad tijek pokrenete, izvršitelj namjerno bira modele kvalitetne razine umjesto najjeftinije mogućnosti. Dva razloga: automatizacije proizvode artefakte (izvješća, stvoreni sadržaj, kod) koje nitko odmah ne pregledava, pa se propusti kvalitete tiho gomilaju; a pri umjerenom obujmu razlika u trošku manja je od cijene lošeg izlaza koji iznuđuje ponovno pokretanje ili ručni popravak.
U praksi to znači da će tijek „sažmi istraživanje i napiši izvješće" dati prednost čvrstom modelu za zaključivanje pri sažimanju i kvalitetnom tekstualnom modelu pri pisanju, umjesto da trči prema cjenovnom dnu. To možete premostiti na pojedinom koraku ako znate da ondje dostaje lagan model.
Naplata slijedi ostatak ToRuna: svaki poziv modela unutar tijeka zapisuje točno jedan zapis sa zamrznutim otiskom cijene. Prolaz koji poziva tri različita modela u pet koraka daje pet zapisa. Točan trošak svakog prolaza možete provjeriti razrađen po koracima i naknadno — čak i mjesecima poslije, kad se cijene pružatelja već pomaknu.
Raščlamba prolaza
Svaki prolaz tijeka daje strukturiran trag. Trag prikazuje DAG sa svakim čvorom pobilježenim: vrijeme početka, vrijeme završetka, razriješeni model, broj ulaznih i izlaznih tokena, obavljeni pozivi alata i eventualna pogreška. Na LLM koracima možete raširiti točno poslani upit i sirov primljeni odgovor.
Zakaže li korak, trag vam kaže je li pogreška došla iz poziva modela (pogreška pružatelja, prelijevanje konteksta, odbijanje po politici sadržaja), iz alata dalje u cjevovodu (istek mreže, neuspjeh provjere sheme) ili iz vaše vlastite uvjetne logike. Ne morate dodavati zapisivanje: prikuplja se na razini infrastrukture pri svakom prolazu.
Svaki se prolaz može ponoviti s istim ulazom, što čini izravnim ponoviti kvar.
Mali primjer: tjedni tijek konkurentskog pregleda
Zamislite tijek koji pokrećete svakog ponedjeljka ujutro:
- Korak pretrage weba — traži svježe objave za skup konkurentskih ključnih riječi i vraća popis adresa i isječaka.
- Korak dohvata — izvlači posljednja četiri izvješća iz baze znanja da postavi polazni kontekst.
- Korak sažimanja (LLM) — destilira rezultate pretrage u strukturirane nalaze: nove značajke, promjene cijena, važne najave.
- Korak pisanja (LLM) — piše sažetu internu bilješku u ujednačenom kućnom stilu, utemeljenu u sažetim nalazima.
- Korak dostave — objavljuje bilješku na postavljenu webhook točku.
Graf ima prirodnu ovisnost: korak 3 ovisi o 1 i 2 (koji mogu ići usporedno), korak 4 o 3, korak 5 o 4. Izvršitelj to čini bez ikakve izričite postavke usporednosti: čita bridove.