Một mô hình được huấn luyện trên dữ liệu của một khoảng thời gian. Nó được triển khai và chạy tiếp trong nhiều năm.
Nhưng dữ liệu không đứng yên.
Ba loại dịch chuyển
Dịch chuyển phân bố đầu vào
Đặc điểm của dữ liệu đầu vào thay đổi, trong khi mối quan hệ giữa đầu vào và kết cục vẫn như cũ.
Ví dụ về cơ chế: thay máy chụp mới cho ảnh có đặc tính khác; thay đổi trong cơ cấu tuổi của người bệnh đến khám.
Dịch chuyển mối quan hệ
Mối liên hệ giữa các biến đầu vào và kết cục thay đổi.
Ví dụ: một phương pháp điều trị mới làm thay đổi tiên lượng, khiến các yếu tố dự báo cũ không còn dự báo tốt như trước.
Loại này nguy hiểm hơn vì mô hình vẫn nhận đầu vào quen thuộc nhưng kết luận không còn đúng.
Dịch chuyển nhãn
Định nghĩa của kết cục thay đổi — hướng dẫn chẩn đoán cập nhật, tiêu chí phân loại đổi, cách mã hoá thay đổi.
Mô hình vẫn dự báo theo định nghĩa cũ trong khi thực hành đã theo định nghĩa mới.
Nguyên nhân trong bối cảnh y tế
- Thiết bị — thay máy, nâng cấp phần mềm máy, đổi thuật toán tái tạo ảnh.
- Quy trình — đổi thông số chụp, đổi phác đồ chuẩn bị, đổi phòng xét nghiệm.
- Quần thể — mở dịch vụ mới, thay đổi khu vực tiếp nhận, thay đổi cơ cấu bệnh.
- Thực hành — hướng dẫn mới, thuốc mới, ngưỡng chẩn đoán thay đổi.
- Ghi chép — đổi hệ thống, đổi mẫu, đổi bộ mã.
- Bối cảnh bên ngoài — dịch bệnh, thay đổi chính sách y tế.
Điểm chung: không cái nào trong số này tạo ra thông báo lỗi.
Giám sát đầu vào: hệ thống cảnh báo sớm
Ưu thế lớn nhất của việc giám sát dữ liệu đầu vào: không cần chờ nhãn thật.
Kết cục lâm sàng có thể mất nhiều tuần hoặc nhiều tháng mới biết. Nhưng thay đổi trong phân bố đầu vào nhận ra được ngay.
Các chỉ số cần theo dõi
- Phân bố của từng biến đầu vào — trung bình, độ phân tán, các phân vị.
- Tỷ lệ dữ liệu thiếu theo từng biến.
- Nguồn dữ liệu — tỷ lệ từ từng thiết bị, từng khoa.
- Đặc điểm quần thể — tuổi, giới, tỷ lệ bệnh kèm.
- Tỷ lệ ca bị từ chối xử lý do không đủ điều kiện.
Vẽ các chỉ số này theo thời gian và so với giai đoạn huấn luyện. Thay đổi đột ngột hoặc xu hướng lệch dần là tín hiệu.
Giám sát đầu ra
- Tỷ lệ dự đoán dương theo tháng — chỉ số nhạy và dễ đo nhất.
- Phân bố điểm số mà mô hình trả về.
- Tỷ lệ người dùng bác bỏ gợi ý.
Chỉ số đầu tiên có giá trị thực tế cao: nếu tỷ lệ dương tính thay đổi đáng kể mà không có lý do lâm sàng rõ, đó là dấu hiệu cần điều tra.
Giám sát hiệu năng thật
Chính xác nhất nhưng chậm nhất, vì cần nhãn.
Cách làm thực tế: lấy mẫu định kỳ, đối chiếu với kết luận cuối trong hồ sơ, tính lại các chỉ số, vẽ theo thời gian.
Cỡ mẫu không cần lớn nếu làm đều — xu hướng qua nhiều tháng có giá trị hơn một phép đo lớn một lần.
Thiết lập ngưỡng
Cần định trước, không định sau khi thấy số liệu.
Nên có nhiều mức:
| Mức | Hành động |
|---|---|
| Quan sát | Ghi nhận, theo dõi sát hơn |
| Cảnh báo | Điều tra nguyên nhân, báo cáo hội đồng |
| Can thiệp | Hiệu chỉnh hoặc huấn luyện lại |
| Dừng | Tạm ngừng sử dụng |
Xác định nguyên nhân trước khi xử lý
Cách xử lý khác nhau hoàn toàn tuỳ nguyên nhân:
- Thay thiết bị — cần hiệu chỉnh hoặc huấn luyện lại với dữ liệu từ thiết bị mới.
- Đổi quy trình — cân nhắc điều chỉnh tiền xử lý.
- Thay đổi quần thể — đánh giá xem mô hình còn phù hợp với quần thể mới không.
- Hướng dẫn mới — có thể cần xây lại mô hình theo định nghĩa mới.
- Lỗi kỹ thuật — sửa lỗi, không đụng tới mô hình.
Huấn luyện lại một cách máy móc mỗi khi phát hiện dịch chuyển không phải lúc nào cũng đúng — nếu nguyên nhân là lỗi dữ liệu, huấn luyện lại sẽ dạy mô hình học cái sai đó.
Vấn đề vòng phản hồi
Một hiện tượng đặc thù: khi mô hình ảnh hưởng tới quyết định, nó ảnh hưởng tới chính dữ liệu tương lai.
Ví dụ về cơ chế: mô hình đánh dấu một nhóm ca là nguy cơ cao, nhóm đó được can thiệp sớm, kết cục cải thiện — và dữ liệu mới cho thấy nhóm đó không còn nguy cơ cao nữa.
Nếu huấn luyện lại trên dữ liệu này, mô hình sẽ học rằng nhóm đó an toàn — và ngừng đánh dấu họ.
Đây là vấn đề chưa có giải pháp đơn giản. Cách xử lý thường là ghi nhận rõ việc can thiệp đã xảy ra và tính tới nó trong quá trình huấn luyện lại.
Ai theo dõi
Câu hỏi quyết định. Nếu không có người được giao cụ thể, việc này sẽ không được làm.
Mô hình thực tế: một người phụ trách kỹ thuật, một người phụ trách lâm sàng, báo cáo định kỳ lên hội đồng chất lượng, và xem xét lại toàn diện theo chu kỳ cố định.
Câu hỏi thường gặp
Có mấy loại dịch chuyển dữ liệu?
Thường phân ba loại: dịch chuyển phân bố đầu vào khi đặc điểm dữ liệu thay đổi, dịch chuyển mối quan hệ khi liên hệ giữa đầu vào và kết cục thay đổi, và dịch chuyển nhãn khi định nghĩa hoặc cách chẩn đoán thay đổi.
Vì sao giám sát đầu vào lại phát hiện sớm hơn?
Vì nó không cần chờ nhãn thật. Kết cục lâm sàng có thể mất nhiều tuần hoặc nhiều tháng mới biết, trong khi thay đổi trong phân bố dữ liệu đầu vào nhận ra được ngay khi nó xảy ra.
Nguyên nhân dịch chuyển trong y tế thường là gì?
Thay hoặc nâng cấp thiết bị, đổi quy trình chụp hoặc xét nghiệm, thay đổi trong quần thể bệnh nhân, cập nhật hướng dẫn chẩn đoán, và thay đổi trong cách mã hoá hoặc ghi chép.
Phát hiện dịch chuyển thì làm gì?
Trước hết xác định nguyên nhân, vì cách xử lý khác nhau tuỳ nguyên nhân. Sau đó đánh giá tác động tới hiệu năng thực tế, rồi quyết định giữa việc theo dõi tiếp, hiệu chỉnh lại, huấn luyện lại, hoặc tạm dừng.