Burada iş akışı aslında nedir
Yapay zekâ alanındaki çoğu "iş akışı" aracı, ince bir sarmalayıcıya sarılmış istem zincirleridir. ToRun'un kurucusu ise türlenmiş adımlardan oluşan yönlü döngüsüz bir çizgedir (DAG): model çağrılarını, araç çağrılarını, koşullu dalları, döngüleri ve alt iş akışlarını bir çizgede birleştirirsiniz; çalışma zamanı da bunları bağımlılık sırasına göre, çizgenin izin verdiği yerde paralel olarak yürütür.
Her adım kendi yapılandırmasına sahip birinci sınıf bir varlıktır: adım türü (LLM çağrısı, web araması, kod yürütme, görsel üretimi, erişim, dönüştürme vb.), girdi şeması, hata politikası (hemen başarısız ol, geri çekilmeli yeniden dene, yedeğe atla), adım başına yürütme bütçesi tavanı ve bir zaman aşımı.
Her LLM adımının içindeki model yönlendirmesi, ToRun'daki diğer her şeyle aynı yetenek hattından geçer. Neye ihtiyacınız olduğunu bildirirsiniz — yapılandırılmış çıktı, görme, araç kullanımı, akıl yürütme, en az N jetonluk bir bağlam penceresi — ve çalıştırıcı, yürütme anında hangi sağlayıcılar erişilebilirse aralarından en uygun modeli çözer. İlk tercih sağlayıcınız 5xx döndürürse yedek zinciri otomatik olarak devralır.
Kalite öncelikli çalıştırıcılar ve bunun pratikteki anlamı
Bir iş akışını çalıştırdığınızda, çalıştırıcı bilerek en ucuz seçeneği değil kalite katmanındaki modelleri seçer. Bunun iki nedeni var: otomasyonlar bir insanın hemen gözden geçirmediği çıktılar üretir (raporlar, üretilmiş içerik, kod), dolayısıyla kalite hataları sessizce birikir; ve orta hacimde maliyet farkı, yeniden çalıştırma ya da elle düzeltme gerektiren kötü bir çıktının maliyetinden küçüktür.
Pratikte bu şu demek: "araştırmayı özetle ve bir brifing taslağı yaz" iş akışı, özetleme adımı için yetkin bir akıl yürütme modelini, taslak adımı için yüksek kaliteli bir metin modelini tercih eder; fiyatta dibe doğru yarışmaz. O parça için hafif bir modelin yeteceğini biliyorsanız bunu adım başına geçersiz kılabilirsiniz.
Faturalandırma ToRun'un her yerindeki gibidir: bir iş akışı içindeki her model çağrısı, dondurulmuş bir fiyat anlık görüntüsüyle tam olarak bir fatura kaydı yazar. Beş adımda üç farklı modeli çağıran bir çalıştırma beş fatura kaydı üretir. Her yürütmenin tam maliyetini adım adım, sonradan — sağlayıcı fiyatları değiştikten aylar sonra bile — denetleyebilirsiniz.
Bir çalıştırmayı ayıklamak
Her iş akışı yürütmesi yapılandırılmış bir çalıştırma izi üretir. İz, çizgeyi her düğüm açıklamalı olarak gösterir: başlangıç zamanı, bitiş zamanı, çözülen model, giren ve çıkan jeton sayıları, yapılan araç çağrıları ve varsa hata. LLM adımlarında gönderilen tam istemi ve alınan ham yanıtı açabilirsiniz.
Bir adım başarısız olursa iz, hatanın model çağrısının kendisinden mi (sağlayıcı hatası, bağlam taşması, içerik politikası reddi), aşağı akıştaki bir araçtan mı (ağ zaman aşımı, şema doğrulama hatası) yoksa kendi koşullu mantığınızdan mı geldiğini söyler. Günlük eklemenize gerek yok — her çalıştırma için altyapı düzeyinde yakalanır.
Her çalıştırma aynı girdiyle yeniden oynatılabilir; bu da bir hatayı yeniden üretmeyi kolaylaştırır.
Küçük bir örnek: haftalık rekabet istihbaratı iş akışı
Her pazartesi sabahı başlattığınız bir iş akışı düşünün:
- Web araması adımı — bir dizi rakip anahtar kelimesine dair güncel haberleri arar, URL ve alıntı listesi döndürür.
- Erişim adımı — temel bağlamı kurmak için bir bilgi tabanından son dört raporu çeker.
- Özetleme adımı (LLM) — arama sonuçlarını yapılandırılmış bulgulara damıtır: yeni özellikler, fiyat değişiklikleri, dikkat çeken duyurular.
- Taslak adımı (LLM) — özetlenen bulgulara dayanarak tutarlı bir kurum üslubunda kısa bir iç brifing yazar.
- Teslim adımı — brifingi yapılandırılmış bir webhook uç noktasına gönderir.
Çizgenin doğal bir bağımlılığı var: 3. adım 1. ve 2. adımlara bağlı (bunlar paralel çalışabilir), 4. adım 3'e, 5. adım 4'e bağlı. Çalıştırıcı bunu açık bir paralellik yapılandırması olmadan böyle yürütür — kenarları okur.