Mikä työnkulku täällä oikeastaan on
Useimmat »työnkulku«-työkalut tekoälyalalla ovat kehoteketjuja ohuen kerroksen kera päällä. ToRunin rakentaja on suunnattu syklitön verkko (DAG) tyypitetyistä vaiheista: liität mallikutsuja, työkalukutsuja, ehdollisia haaroja, silmukoita ja alityönkulkuja verkoksi, ja moottori suorittaa ne riippuvuusjärjestyksessä, rinnakkain siellä missä verkko sen sallii.
Jokainen vaihe on täysivaltainen olio omalla asetuksellaan: vaiheen tyyppi (LLM-kutsu, verkkohaku, koodin suorittaminen, kuvan tuottaminen, haku, muunnos ja niin edelleen), syöteskeema, virhekäytäntö (kaadu nopeasti, yritä uudelleen odotuksella, siirry vaihtoehtoon), vaihekohtainen suoritusbudjettikatto ja aikaraja.
Mallin ohjaus jokaisen LLM-vaiheen sisällä kulkee saman kyvykkyysputken läpi kuin kaikki muukin ToRunissa. Ilmoitat, mitä tarvitset — jäsennellyn tulosteen, näön, työkalujen käytön, päättelyn, vähintään N merkin asiayhteysikkunan — ja suorittaja ratkaisee parhaiten sopivan mallin sillä hetkellä käytettävissä olevista palveluntarjoajista. Jos suosikkipalveluntarjoajasi palauttaa 5xx:n, varaketju ottaa automaattisesti vastuun.
Laatuetusijan suorittajat ja mitä se käytännössä muuttaa
Kun ajat työnkulun, suorittaja valitsee tarkoituksella laatutason malleja halvimman vaihtoehdon sijaan. Kaksi syytä: automaatiot tuottavat tuotoksia (raportteja, tuotettua sisältöä, koodia), joita kukaan ei tarkasta heti, joten laatuvirheet kasautuvat hiljaa; ja kohtuullisella määrällä kustannusero on pienempi kuin huonon tulosteen hinta, joka pakottaa uuteen ajoon tai käsin korjaamiseen.
Käytännössä tämä tarkoittaa, että työnkulku »tiivistä tutkimus ja kirjoita raportti« suosii vankkaa päättelymallia tiivistämiseen ja laadukasta tekstimallia kirjoittamiseen sen sijaan, että juoksisi hintapohjalle. Voit ohittaa tämän tietyssä vaiheessa, jos tiedät että siihen riittää kevyt malli.
Laskutus seuraa ToRunin muuta osaa: jokainen mallikutsu työnkulun sisällä kirjoittaa täsmälleen yhden tietueen jäädytetyllä hintatilannekuvalla. Ajo, joka kutsuu kolmea eri mallia viidessä vaiheessa, tuottaa viisi tietuetta. Voit tarkastaa jokaisen ajon tarkan kustannuksen vaiheittain eriteltynä jälkikäteenkin — jopa kuukausia myöhemmin, kun palveluntarjoajien hinnat ovat jo liikkuneet.
Ajon erittely
Jokainen työnkulkuajo tuottaa jäsennellyn jäljen. Jälki näyttää verkon jokaisen solmun kanssa merkintöineen: aloitusaika, päättymisaika, ratkaistu malli, syöte- ja tulostemerkkien määrä, tehdyt työkalukutsut ja mahdollinen virhe. LLM-vaiheissa voit avata tarkalleen lähetetyn kehotteen ja saadun raa'an vastauksen.
Jos vaihe epäonnistuu, jälki kertoo, tuliko virhe mallikutsusta (palveluntarjoajan virhe, asiayhteyden ylivuoto, sisältökäytännön kieltäytyminen), myöhemmästä työkalusta (verkon aikakatkaisu, skeeman tarkistuksen epäonnistuminen) vai omasta ehtologiikastasi. Sinun ei tarvitse lisätä lokitusta: se kerätään infrastruktuuritasolla jokaisessa ajossa.
Minkä tahansa ajon voi toistaa samalla syötteellä, mikä tekee häiriön toistamisesta suoraviivaista.
Pieni esimerkki: viikoittainen kilpailijaseurannan työnkulku
Kuvittele työnkulku, jonka käynnistät joka maanantaiaamu:
- Verkkohakuvaihe — hakee tuoreet maininnat joukolle kilpailijoiden avainsanoja ja palauttaa listan osoitteita ja otteita.
- Hakuvaihe — nostaa neljä viimeisintä raporttia tietopohjasta asettaakseen lähtöasiayhteyden.
- Tiivistysvaihe (LLM) — tislaa hakutulokset jäsennellyiksi havainnoiksi: uudet toiminnot, hintamuutokset, merkittävät julkistukset.
- Kirjoitusvaihe (LLM) — kirjoittaa tiiviin sisäisen muistion yhtenäisellä talon tyylillä, perustuen tiivistettyihin havaintoihin.
- Toimitusvaihe — julkaisee muistion määritettyyn webhook-päätepisteeseen.
Verkossa on luonnollinen riippuvuus: vaihe 3 riippuu vaiheista 1 ja 2 (jotka voivat ajaa rinnakkain), vaihe 4 vaiheesta 3, vaihe 5 vaiheesta 4. Suorittaja tekee tämän ilman mitään nimenomaista rinnakkaisuusasetusta: se lukee kaaret.