Một mô hình được kiểm định kỹ, phê duyệt, triển khai. Rồi hai năm sau, nó vẫn chạy — nhưng không còn tốt như ngày đầu.
Và không ai biết.
Vì sao hiệu năng suy giảm
Thay đổi thiết bị
Khoa mua máy mới, hoặc nâng cấp phần mềm máy cũ. Đặc tính ảnh thay đổi theo cách mắt người không để ý nhưng mô hình thì có.
Thay đổi quy trình
Đổi thông số chụp, đổi phác đồ tiêm thuốc cản quang, đổi thuật toán tái tạo ảnh.
Thay đổi quần thể
Bệnh viện mở thêm dịch vụ, thay đổi khu vực tiếp nhận, tỷ lệ bệnh trong nhóm được chụp dịch chuyển.
Thay đổi định nghĩa
Hướng dẫn chẩn đoán cập nhật, tiêu chí phân loại thay đổi. Nhãn mà mô hình học không còn tương ứng với nhãn hiện hành.
Thay đổi hành vi người dùng
Chỉ định chụp thay đổi, làm thay đổi đặc điểm của tập ca đi qua hệ thống.
Vì sao khó phát hiện
Đây là điểm cốt lõi của vấn đề.
Sự suy giảm không gây ra lỗi. Hệ thống không báo lỗi, không dừng, không hiện thông báo. Nó vẫn chạy bình thường và vẫn trả về kết quả.
Chỉ là:
- Bỏ sót nhiều hơn một chút.
- Hoặc báo động giả nhiều hơn một chút.
Không ai phàn nàn, vì không ai biết cái gì lẽ ra phải xảy ra. Và không có gì phàn nàn thì không có gì kích hoạt việc kiểm tra.
Đây là loại vấn đề chỉ phát hiện được bằng giám sát chủ động — không bằng phản ứng với sự cố.
Hai nhóm chỉ số
Nhóm một: giám sát dữ liệu đầu vào
Không cần nhãn thật, nên phát hiện sớm hơn.
- Phân bố các đặc trưng của ảnh đầu vào có dịch chuyển không?
- Tỷ lệ ảnh đến từ từng máy chụp có thay đổi không?
- Phân bố tuổi, giới của người bệnh đi qua hệ thống?
- Tỷ lệ ảnh bị từ chối xử lý do không đủ chất lượng?
Đây là hệ thống cảnh báo sớm: dịch chuyển ở đầu vào thường đi trước sự suy giảm ở đầu ra.
Nhóm hai: giám sát đầu ra
- Tỷ lệ ca được đánh dấu dương tính theo tháng. Thay đổi đột ngột là dấu hiệu cần xem xét.
- Phân bố điểm số mà mô hình trả về.
- Tỷ lệ người dùng bác bỏ gợi ý — chỉ số gián tiếp nhưng nhạy.
- Thời gian xử lý — thay đổi có thể báo hiệu vấn đề kỹ thuật.
Nhóm ba: đối chiếu với sự thật
Đây là nhóm chính xác nhất nhưng tốn công nhất, vì cần nhãn thật.
Cách làm thực tế: lấy mẫu định kỳ thay vì đối chiếu toàn bộ.
- Chọn ngẫu nhiên một số ca mỗi tháng.
- Đối chiếu kết quả mô hình với kết luận cuối cùng trong hồ sơ.
- Tính lại độ nhạy và độ đặc hiệu trên mẫu đó.
- Vẽ theo thời gian.
Cỡ mẫu không cần lớn nếu làm đều đặn — xu hướng qua nhiều tháng có giá trị hơn một phép đo lớn một lần.
Ngưỡng can thiệp
Cần định trước, không định sau khi thấy số liệu.
- Mức suy giảm nào thì cần xem xét?
- Mức nào thì tạm dừng sử dụng?
- Ai có thẩm quyền quyết định dừng?
- Quy trình khi dừng là gì — quay về cách làm cũ như thế nào?
Câu cuối quan trọng và hay bị bỏ qua: nếu quy trình đã thay đổi để phù hợp với hệ thống, việc quay lại cách cũ không tự động dễ dàng.
Ai làm việc này
Đây là câu hỏi quyết định. Nếu không có ai được giao cụ thể, trên thực tế sẽ không ai làm.
Mô hình thường thấy ở nơi làm tốt:
- Một người ở khoa chuyên môn phụ trách về mặt lâm sàng.
- Một người ở bộ phận công nghệ thông tin phụ trách kỹ thuật.
- Báo cáo định kỳ lên hội đồng chất lượng.
- Xem xét lại toàn diện theo chu kỳ cố định.
Khi nào cần đánh giá lại toàn diện
- Thay hoặc nâng cấp thiết bị chụp.
- Đổi quy trình chụp.
- Cập nhật phiên bản phần mềm.
- Thay đổi đáng kể trong quần thể bệnh nhân.
- Cập nhật hướng dẫn chẩn đoán liên quan.
- Theo chu kỳ định kỳ, ngay cả khi không có gì thay đổi.
Mục về cập nhật phần mềm đáng chú ý: một bản cập nhật của nhà cung cấp có thể thay đổi hành vi mô hình mà không được thông báo rõ. Cần yêu cầu nhà cung cấp mô tả nội dung thay đổi trong mỗi bản cập nhật.
Một câu hỏi thực tế
Khi mua hoặc triển khai một hệ thống AI trong chẩn đoán hình ảnh, một câu đáng hỏi nhà cung cấp:
"Hệ thống cung cấp những công cụ gì để chúng tôi tự giám sát hiệu năng của nó tại cơ sở mình?"
Câu trả lời cho biết nhà cung cấp có coi đây là trách nhiệm chung hay chỉ coi việc bán và lắp đặt là xong.
Câu hỏi thường gặp
Vì sao hiệu năng mô hình suy giảm theo thời gian?
Vì dữ liệu thực tế thay đổi: thay máy chụp, đổi quy trình, thay đổi trong quần thể bệnh nhân, cập nhật hướng dẫn chẩn đoán. Mô hình vẫn hoạt động như cũ nhưng môi trường đã khác so với lúc nó được huấn luyện.
Vì sao sự suy giảm này khó phát hiện?
Vì nó không gây lỗi rõ ràng. Hệ thống vẫn chạy, vẫn trả kết quả, chỉ là bỏ sót nhiều hơn một chút hoặc báo động giả nhiều hơn một chút. Không ai phàn nàn nên không ai kiểm.
Nên theo dõi chỉ số nào?
Chia làm hai nhóm: chỉ số về dữ liệu đầu vào như phân bố đặc trưng ảnh và nguồn máy chụp, và chỉ số về đầu ra như tỷ lệ dương tính, tỷ lệ người dùng bác bỏ gợi ý. Nhóm thứ nhất phát hiện sớm hơn vì không cần chờ nhãn thật.
Ai chịu trách nhiệm giám sát?
Cần một người hoặc bộ phận được chỉ định rõ, thường là sự phối hợp giữa khoa chuyên môn và bộ phận công nghệ thông tin. Nếu không ai được giao cụ thể thì trên thực tế không ai làm.