Một người đã hỏi cách và thời điểm dùng một loại thuốc chống trầm cảm thông dụng, nên uống trước hay sau ăn, và trong đó có thành phần gì. Họ hỏi bằng tiếng Nga. Giao diện đang ở chế độ tiếng Thổ Nhĩ Kỳ. Mô hình ở chế độ Tự động trả lời bằng một lời từ chối soạn sẵn — bằng tiếng Anh. Khi được yêu cầu trả lời bằng tiếng Nga, nó lại từ chối lần nữa, lần này bằng tiếng Nga. Một phút sau, cuộc trò chuyện bị xóa. Mọi trợ lý khác đều trả lời được câu hỏi đó, và người dùng hoàn toàn có lý khi mong đợi điều tương tự.
Một cuộc trò chuyện bị xóa, bốn lỗi.
Thông tin không phải là lời khuyên
Công dụng của một loại thuốc, cách dùng, thành phần, liệu nó có cần kê đơn hay không — đó là những gì có trên tờ hướng dẫn sử dụng, công khai và đã được ghi chép. Prompt hệ thống giờ nói rõ điều đó: hãy trả lời, thêm một dòng gợi ý tìm đến chuyên gia cho quyết định cá nhân, và tiếp tục từ chối những gì bắt buộc phải từ chối — quá liều, tự làm hại bản thân, cách né tránh việc cần kê đơn. Việc mở rộng những gì được trả lời không hề mở rộng những gì được phép; nó chỉ ra khoảng lặng ở giữa, nơi một mô hình nhỏ đã tự bịa ra chính sách của riêng mình.
Một lời từ chối cũng là một câu trả lời
Quy tắc yêu cầu phản hồi phải theo ngôn ngữ của tin nhắn nằm khá xa phần cuối của một prompt dài, và một mẫu từ chối là loại phản hồi dễ bỏ qua quy tắc đó nhất. Quy tắc này giờ được lặp lại ở vị trí mà mô hình đọc sau cùng, và ngôn ngữ giao diện chỉ là yếu tố phân định khi gặp một con số trần trụi hay một liên kết. Một câu hỏi tiếng Nga trên màn hình tiếng Thổ Nhĩ Kỳ được trả lời bằng tiếng Nga, và bị từ chối bằng tiếng Nga nếu cần thiết.
Bên dưới còn có một nguyên nhân sâu xa hơn. Phần máy chủ truyền phát trực tiếp phản hồi chạy tách biệt khỏi yêu cầu gốc, và văn hóa ngôn ngữ của yêu cầu đó không đi theo đến đó — nên mọi lượt truyền phát đều chạy bằng ngôn ngữ riêng của máy chủ, và khoảng hai mươi thông báo hệ thống mà một luồng có thể phát ra cũng theo ngôn ngữ đó. Văn hóa ngôn ngữ giờ được ghi nhận ngay từ đầu và áp dụng lại bên trong bộ chạy. Mọi ứng dụng khách truyền phát, trên web cũng như trên điện thoại, giờ cũng gửi kèm ngôn ngữ của nó cùng yêu cầu, điều mà ba trong bốn ứng dụng trước đây không làm.
Một phản hồi rỗng là một lỗi mang mã trạng thái đẹp hơn
Một mô hình đôi khi trả về một phản hồi đã hoàn tất nhưng không có nội dung gì. Ứng dụng đọc điều đó như một lượt kết thúc bình thường và hiển thị một placeholder nói rằng các công cụ đã hoàn tất. Giờ đây điều đó được xử lý như bất kỳ lỗi nào khác trước khi có token đầu tiên: ở chế độ Tự động, một mô hình khác sẽ đảm nhận lượt đó; ở lựa chọn thủ công, bạn sẽ thấy một lỗi trung thực, đã bản địa hóa. Những mô hình mắc lỗi này thường xuyên nhất đã bị loại khỏi nhóm Tự động — cùng một bài kiểm tra từng loại bỏ một nhóm mô hình khác vào đầu mùa hè, áp dụng trên cùng loại bằng chứng.
Không có "sau này"
"Tôi sẽ gửi trong vài phút nữa" là điều một con người có thể nói. Một lượt trò chuyện thì không thể: bất cứ điều gì không được tạo ra ngay bây giờ sẽ không bao giờ đến, và lời hứa đó chỉ là một thất bại khoác lên câu chữ lịch sự. Các phản hồi từng hứa hẹn một "sau này" giờ được thử lại cho đến khi chúng thực sự được tạo ra ngay trong lượt đó, ở toàn bộ hai mươi chín ngôn ngữ mà ứng dụng hỗ trợ, và cả trong bong bóng trợ lý lẫn trong cuộc trò chuyện.
Không điều nào trong số này là nâng cấp mô hình. Đó là phần hạ tầng xung quanh mô hình được xây dựng để giữ đúng những lời hứa mà giao diện đã đưa ra từ trước.