Một kết quả khoa học chỉ có giá trị khi người khác kiểm chứng lại được. Trong lĩnh vực AI y tế, việc này gặp khó khăn có hệ thống.
Đây không chỉ là vấn đề học thuật — nó ảnh hưởng trực tiếp tới quyết định mua và triển khai của một cơ sở y tế.
Các rào cản
Dữ liệu không tiếp cận được
Dữ liệu y tế có ràng buộc riêng tư chính đáng. Không thể chia sẻ tự do như nhiều lĩnh vực khác.
Đây là rào cản thật và không thể bỏ qua bằng cách yêu cầu công khai dữ liệu.
Mô tả không đủ chi tiết
Nhiều bài báo mô tả mô hình ở mức khái quát, thiếu các thông tin cần để xây lại.
Mã nguồn không được chia sẻ
Vì lý do thương mại hoặc đơn giản vì không có yêu cầu.
Các bước xử lý dữ liệu không được nêu
Phần tiền xử lý thường ảnh hưởng tới kết quả nhiều không kém kiến trúc mô hình, nhưng lại ít được mô tả kỹ.
Các quyết định trong quá trình phát triển
Số lần thử nghiệm với các cấu hình khác nhau, tiêu chí chọn mô hình cuối, các ca bị loại và lý do — những điều này hiếm khi được báo cáo đầy đủ.
Những gì cần có để tái lập được
Về dữ liệu
- Nguồn dữ liệu và khoảng thời gian thu thập.
- Tiêu chí lựa chọn và loại trừ ca, kèm số ca bị loại ở mỗi bước.
- Cách chia tập huấn luyện, tập điều chỉnh và tập kiểm định — chia ngẫu nhiên hay theo thời gian, theo người bệnh hay theo bản ghi.
- Đặc điểm của từng tập.
- Cách xử lý dữ liệu thiếu.
- Cách tạo nhãn và ai tạo.
Mục về chia tập đáng chú ý: nếu cùng một người bệnh có bản ghi ở cả tập huấn luyện và tập kiểm định, kết quả sẽ cao giả tạo.
Về mô hình
- Kiến trúc đầy đủ.
- Siêu tham số và cách chọn chúng.
- Quy trình huấn luyện.
- Có dùng mô hình đã huấn luyện sẵn không, và mô hình nào.
- Phiên bản thư viện và môi trường chạy.
Về đánh giá
- Chỉ số và cách tính.
- Ngưỡng vận hành và cách chọn.
- Khoảng tin cậy và cách tính.
- Các phân tích theo phân nhóm.
Cách chia sẻ khi không chia sẻ được dữ liệu
Rào cản riêng tư không loại bỏ mọi khả năng minh bạch.
- Chia sẻ mã nguồn — ngay cả khi không có dữ liệu, mã cho biết chính xác các bước đã làm.
- Chia sẻ mô hình đã huấn luyện — cho phép nhóm khác kiểm trên dữ liệu của họ.
- Chia sẻ dữ liệu tổng hợp nhân tạo để kiểm mã chạy được.
- Mô tả chi tiết quy trình đủ để xây lại.
- Cho phép kiểm định trên dữ liệu bên thứ ba qua môi trường có kiểm soát.
Mục thứ hai có giá trị cao nhất với một cơ sở đang cân nhắc mua: nó cho phép đánh giá trên chính quần thể của mình.
Hướng dẫn báo cáo
Có các hướng dẫn báo cáo dành riêng cho nghiên cứu phát triển mô hình dự báo và cho thử nghiệm can thiệp dựa trên trí tuệ nhân tạo.
Chúng liệt kê các mục bắt buộc phải nêu. Một bài tuân theo hướng dẫn sẽ có đủ thông tin ở trên; một bài không tuân theo thường thiếu chính những mục quan trọng nhất.
Cách kiểm nhanh: tìm xem bài có nhắc tới việc tuân theo hướng dẫn báo cáo nào không, và có bảng kiểm đính kèm không.
Điều một cơ sở nên yêu cầu khi mua
Khi cân nhắc một sản phẩm, các yêu cầu hợp lý:
- Bằng chứng từ kiểm định độc lập — do nhóm không liên quan tới nhà sản xuất thực hiện, ở cơ sở khác.
- Mô tả rõ quần thể mà con số hiệu năng được đo — tuổi, tỷ lệ bệnh, loại thiết bị.
- Hiệu năng theo phân nhóm, không chỉ con số tổng.
- Khả năng chạy thử trên dữ liệu của chính cơ sở trước khi quyết định.
- Cam kết thông báo khi mô hình được cập nhật và nội dung thay đổi.
Yêu cầu thứ tư là yêu cầu có giá trị nhất và hoàn toàn hợp lý. Một nhà cung cấp tự tin về sản phẩm sẽ đồng ý; sự từ chối tự nó là một thông tin.
Vì sao điều này quan trọng hơn trong y tế
Ở nhiều lĩnh vực, một kết quả không tái lập được chỉ là một bài báo ít giá trị.
Trong y tế, một mô hình được triển khai dựa trên kết quả không kiểm chứng được sẽ ảnh hưởng tới quyết định điều trị của người thật.
Và vì sự suy giảm hiệu năng không gây ra triệu chứng rõ ràng, có thể mất rất lâu trước khi ai đó nhận ra vấn đề.
Câu hỏi thường gặp
Vì sao tính tái lập lại quan trọng với người mua sản phẩm?
Vì nếu không ai ngoài nhóm tác giả kiểm chứng được kết quả, thì con số trong bài báo chỉ là tuyên bố của một bên. Một kết quả đã được nhóm độc lập lặp lại có giá trị khác hẳn.
Những thông tin nào thường bị thiếu trong báo cáo?
Mô tả chi tiết kiến trúc và siêu tham số, cách chia tập dữ liệu, cách xử lý dữ liệu thiếu, tiêu chí loại trừ ca, và phiên bản phần mềm. Thiếu bất kỳ mục nào cũng khiến việc lặp lại không cho cùng kết quả.
Có cần chia sẻ dữ liệu thì mới tái lập được không?
Không nhất thiết. Dữ liệu y tế có ràng buộc riêng tư chính đáng, nhưng vẫn có thể chia sẻ mã nguồn, mô tả đầy đủ quy trình, và cung cấp mô hình đã huấn luyện để người khác kiểm trên dữ liệu của họ.
Một cơ sở nên yêu cầu gì khi cân nhắc mua sản phẩm?
Yêu cầu bằng chứng từ kiểm định độc lập ở cơ sở khác, mô tả rõ quần thể và điều kiện mà con số hiệu năng được đo, và khả năng chạy thử trên dữ liệu của chính mình trước khi quyết định.