Một mô hình được xây đúng kỹ thuật, tối ưu tốt, kiểm định cẩn thận. Nó vẫn có thể tạo ra kết quả không mong muốn — vì nó học đúng những gì có trong dữ liệu.
Cơ chế cơ bản
Mô hình học mối quan hệ trong dữ liệu lịch sử. Dữ liệu lịch sử phản ánh thực hành đã diễn ra.
Nếu thực hành có khác biệt giữa các nhóm — vì lý do tiếp cận, vì lý do tổ chức, vì bất kỳ lý do nào — mô hình sẽ học lại khác biệt đó.
Và nó áp dụng khác biệt đó ở quy mô lớn hơn, nhất quán hơn, và với vẻ khách quan của một con số.
Đây là điểm khiến vấn đề nghiêm trọng hơn so với thiên lệch của con người: một quyết định của thuật toán khó bị chất vấn hơn một quyết định của người.
Vấn đề chọn biến đích
Đây là cơ chế tinh vi nhất và quan trọng nhất.
Nhiều khi điều ta muốn dự báo không đo được trực tiếp, nên phải chọn một biến thay thế.
Nếu biến thay thế đó phản ánh mức độ sử dụng dịch vụ thay vì nhu cầu chăm sóc, thì mô hình sẽ học dự báo việc sử dụng dịch vụ.
Các biến đích cần thận trọng:
- Chi phí điều trị — phản ánh cả khả năng chi trả và khả năng tiếp cận.
- Số lần khám — phản ánh khả năng đi lại và sắp xếp thời gian.
- Việc có được chỉ định một can thiệp — phản ánh quyết định của người chỉ định.
- Thời gian tới chẩn đoán — phản ánh cả tốc độ tiếp cận.
Câu hỏi cần đặt cho mỗi biến đích: biến này đo nhu cầu, hay đo việc nhu cầu đó đã được đáp ứng?
Nếu là vế thứ hai, mô hình sẽ đánh giá thấp nhu cầu của những người vốn ít được đáp ứng.
Nhãn phản ánh thực hành
Một cơ chế liên quan: nếu nhãn là chẩn đoán trong thực hành, và một tình trạng thường được chẩn đoán muộn hơn hoặc ít hơn ở một nhóm nào đó, dữ liệu sẽ phản ánh khoảng trống đó.
Mô hình học từ dữ liệu đó sẽ dự báo thấp hơn cho nhóm đó — không phải vì họ ít bệnh hơn mà vì họ ít được chẩn đoán hơn.
Vấn đề nhóm thiếu đại diện
Như đã nói ở chủ đề hiệu năng phân nhóm: nhóm chiếm tỷ lệ nhỏ trong dữ liệu huấn luyện thường có hiệu năng kém hơn.
Và vì quá trình huấn luyện tối ưu trên toàn bộ dữ liệu, nó không có động lực cải thiện ở nhóm nhỏ.
Cách kiểm tra trước khi triển khai
Phân tích theo nhóm
Với mỗi nhóm cần quan tâm, báo cáo:
- Cỡ mẫu trong dữ liệu huấn luyện và kiểm định.
- Các chỉ số hiệu năng, kèm khoảng tin cậy.
- Tỷ lệ được đánh dấu dương tính.
- Tỷ lệ bỏ sót.
Kiểm tra biến đích
Đặt câu hỏi ở trên một cách nghiêm túc, và nếu biến đích có vấn đề, tìm biến thay thế tốt hơn ngay cả khi nó khó đo hơn.
Đối chiếu với đánh giá lâm sàng độc lập
Với một mẫu ca, so sánh kết quả mô hình với đánh giá của bác sĩ về nhu cầu thực tế — và xem sự chênh lệch có khác nhau giữa các nhóm không.
Đây là phép kiểm tốn công nhưng cho thông tin trực tiếp nhất.
Mô phỏng tác động
Nếu mô hình được dùng để phân bổ một nguồn lực có hạn, mô phỏng xem việc phân bổ sẽ thay đổi thế nào so với hiện tại, và ai được lợi ai chịu thiệt.
Các biện pháp giảm thiểu
- Chọn biến đích tốt hơn — biện pháp căn bản nhất.
- Bổ sung dữ liệu cho nhóm thiếu đại diện.
- Điều chỉnh trọng số trong huấn luyện.
- Ràng buộc trong quá trình tối ưu để giảm chênh lệch giữa các nhóm.
- Ngưỡng riêng theo nhóm — khả thi về kỹ thuật nhưng cần quyết định của hội đồng chuyên môn.
- Giới hạn phạm vi — loại nhóm mà mô hình hoạt động kém.
Mọi biện pháp đều có đánh đổi. Không có lựa chọn nào hoàn hảo về mọi mặt cùng lúc.
Vì sao không có giải pháp kỹ thuật thuần tuý
Các định nghĩa khác nhau về việc thế nào là kết quả công bằng thường không thể thoả mãn đồng thời — đây là một kết quả đã được chứng minh về mặt toán học trong một số điều kiện.
Nghĩa là phải chọn ưu tiên cái nào, và đó là quyết định về giá trị chứ không phải quyết định kỹ thuật.
Quyết định này cần:
- Sự tham gia của hội đồng chuyên môn.
- Sự tham gia của đại diện các nhóm chịu ảnh hưởng.
- Được ghi lại rõ ràng kèm lý do.
- Được xem xét lại định kỳ.
Giám sát sau triển khai
Tác động thực tế có thể khác với dự đoán. Cần theo dõi:
- Tỷ lệ được đánh dấu theo nhóm.
- Hiệu năng theo nhóm.
- Kết cục lâm sàng theo nhóm.
- Có nhóm nào bị ảnh hưởng bất lợi so với trước khi triển khai không.
Mục cuối là phép kiểm quan trọng nhất: việc triển khai có làm ai đó tệ hơn so với trước không?
Một cách nhìn
Vấn đề này không phải lý do để từ chối công nghệ.
Nhưng nó là lý do để kiểm tra tác động phân bố trước khi triển khai, cũng như ta kiểm tra độ chính xác.
Và nó là lý do để nhớ rằng một mô hình không phải là một quan sát viên trung lập — nó là một bản đúc kết của thực hành đã qua, với mọi điều mà thực hành đó chứa đựng.
Câu hỏi thường gặp
Cơ chế khiến mô hình tái tạo bất bình đẳng là gì?
Mô hình học từ dữ liệu phản ánh thực hành hiện tại. Nếu thực hành có khác biệt giữa các nhóm, mô hình học lại khác biệt đó và áp dụng ở quy mô lớn hơn, đồng thời khoác cho nó vẻ khách quan của một con số.
Vì sao việc chọn biến đích lại quan trọng?
Vì nhiều biến tưởng như trung tính lại phản ánh mức độ tiếp cận dịch vụ chứ không phản ánh nhu cầu. Chọn một biến như vậy làm biến đích khiến mô hình học dự báo việc sử dụng dịch vụ thay vì dự báo tình trạng sức khoẻ.
Làm sao phát hiện vấn đề này trước khi triển khai?
Phân tích hiệu năng và tỷ lệ được đánh dấu theo từng nhóm, kiểm tra xem biến đích có phản ánh đúng điều muốn đo không, và đối chiếu kết quả mô hình với đánh giá lâm sàng độc lập ở các nhóm khác nhau.
Có giải pháp kỹ thuật thuần tuý không?
Không. Các biện pháp kỹ thuật giúp phát hiện và giảm thiểu, nhưng việc quyết định thế nào là kết quả chấp nhận được là quyết định về giá trị, cần sự tham gia của hội đồng chuyên môn và của chính những nhóm chịu ảnh hưởng.