Một trường đại học triển khai hệ thống gợi ý vị trí thực tập; sinh viên chỉ cần điền điểm số, kỹ năng và nguyện vọng, hệ thống sẽ tự đưa ra ba vị trí “phù hợp nhất”.

Ban đầu, nhiều sinh viên xem thứ hạng như kết luận khách quan, thậm chí cho rằng các vị trí xếp sau hoàn toàn không đáng nộp.

Tuy nhiên, khi rà soát dữ liệu, cố vấn phát hiện hệ thống thiên về sinh viên điền hồ sơ đầy đủ và diễn đạt kinh nghiệm chuẩn chỉnh; điều này chưa chắc đồng nghĩa năng lực thực tế mạnh hơn.

Hệ thống gợi ý dĩ nhiên có thể giảm chi phí sàng lọc, nhưng một khi người dùng nhầm xếp hạng xác suất thành phán đoán giá trị, tiện lợi công nghệ có thể biến thành thiên kiến mới.

Sau đó trường điều chỉnh giao diện, không còn hiển thị cách nói tuyệt đối như “phù hợp nhất”, mà trình bày căn cứ ghép nối, thông tin còn thiếu và lối vào tư vấn con người.

Quan trọng hơn, giảng viên yêu cầu sinh viên xem kết quả gợi ý là “đề xuất cần kiểm chứng”, chứ không phải đáp án quyết định thay mình.

Sự điều chỉnh này không phủ nhận giá trị của thuật toán; ngược lại, nó nhắc rằng thứ cần được thiết kế không chỉ là mô hình mà còn là ranh giới phán đoán giữa con người và mô hình.