Nhà cung cấp AI nào cũng có những phút tệ. Một mô hình quá tải, một vùng vấp váp, một điểm cuối trả về lỗi suốt chín mươi giây. Chẳng có gì bất thường ở đó. Điều quan trọng là ứng dụng làm gì trong chín mươi giây ấy.
Cho đến tuần này, ứng dụng của chúng tôi phần lớn là bỏ cuộc. Ảnh, giọng nói và gỡ băng đã chuyển sang mô hình anh em từ nhiều tháng. Văn bản thì không chuyển ở bất cứ đâu, nên một phút tệ của nhà cung cấp chấm dứt một câu trả lời tương tác đúng như nó chấm dứt một quy trình.
Cùng câu hỏi ấy, hỏi một mô hình khác
Mọi lệnh gọi văn bản nay đi qua một đường duy nhất biết cách hỏi nơi khác: lượt chat chính và các bước công cụ phía sau nó, Tiếp tục, nghiên cứu chuyên sâu, cầu nối thị giác, cải thiện câu lệnh, bước văn bản bên trong một quy trình, và các lần tạo nhạc. Mô hình thay thế không phải một mô hình rẻ hơn chọn ngẫu nhiên, mà là một mô hình cùng dòng có đúng năng lực mà yêu cầu cần.
Một trường hợp được cố ý để ngoài. Khi câu trả lời đã bắt đầu hiện trên màn hình của bạn, chúng tôi để yên. Bắt đầu lại trên mô hình khác nghĩa là viết lại hoặc mâu thuẫn với những câu bạn đã đọc, và điều đó tệ hơn một lỗi trung thực.
Trả tiền cho mô hình đã trả lời
Nửa thú vị của chuyện này là hóa đơn. Chuyển hướng một lệnh gọi thì dễ; mô tả nó trung thực thì không. Mỗi lần chuyển hướng đều giữ giá của mô hình đầu tiên, nên một lệnh gọi được chuyển hướng bị tính theo giá của chính mô hình vừa hỏng. Chuỗi xử lý nay trao lại toàn bộ ảnh chụp của mô hình thực sự chạy: giá, cửa sổ ngữ cảnh, phần cộng thêm. Nhờ vậy dòng trong lịch sử thanh toán của bạn gọi tên mô hình đã làm việc, theo giá của chính nó.
Và khi không cách nào chạy được
Chuyển sang mô hình khác không phải lúc nào cũng được. Khi một lần chạy thật sự thất bại, tiền của những bước không tạo ra gì nay quay về đúng nơi đã lấy đi. Đó là nửa còn lại của tuần, và nó có bài riêng.