Journal Article

DZNE-2025-00843

http://join2-wiki.gsi.de/foswiki/pub/Main/Artwork/join2_logo100x88.png Towards fair decentralized benchmarking of healthcare AI algorithms with the Federated Tumor Segmentation (FeTS) challenge.

Zenk, M. ; Baid, U. ; Pati, S. ; Linardos, A. ; Edwards, B. ; Sheller, M. ; Foley, P. ; Aristizabal, A. ; Zimmerer, D. ; Gruzdev, A. ; Martin, J. ; Shinohara, R. T. ; Reinke, A. ; Isensee, F. ; Parampottupadam, S. ; Parekh, K. ; Floca, R. ; Kassem, H. ; Baheti, B. ; Thakur, S. ; Chung, V. ; Kushibar, K. ; Lekadir, K. ; Jiang, M. ; Yin, Y. ; Yang, H. ; Liu, Q. ; Chen, C. ; Dou, Q. ; Heng, P.-A. ; Zhang, X. ; Zhang, S. ; Khan, M. I. ; Azeem, M. A. ; Jafaritadi, M. ; Alhoniemi, E. ; Kontio, E. ; Khan, S. A. ; Mächler, L. ; Ezhov, I. ; Kofler, F. ; Shit, S. ; Paetzold, J. C. ; Loehr, T. ; Wiestler, B. ; Peiris, H. ; Pawar, K. ; Zhong, S. ; Chen, Z. ; Hayat, M. ; Egan, G. ; Harandi, M. ; Isik Polat, E. ; Polat, G. ; Kocyigit, A. ; Temizel, A. ; Tuladhar, A. ; Tyagi, L. ; Souza, R. ; Forkert, N. D. ; Mouches, P. ; Wilms, M. ; Shambhat, V. ; Maurya, A. ; Danannavar, S. S. ; Kalla, R. ; Anand, V. K. ; Krishnamurthi, G. ; Nalawade, S. ; Ganesh, C. ; Wagner, B. ; Reddy, D. ; Das, Y. ; Yu, F. F. ; Fei, B. ; Madhuranthakam, A. J. ; Maldjian, J. ; Singh, G. ; Ren, J. ; Zhang, W. ; An, N. ; Hu, Q. ; Zhang, Y. ; Zhou, Y. ; Siomos, V. ; Tarroni, G. ; Passerrat-Palmbach, J. ; Rawat, A. ; Zizzo, G. ; Kadhe, S. R. ; Epperlein, J. P. ; Braghin, S. ; Wang, Y. ; Kanagavelu, R. ; Wei, Q. ; Yang, Y. ; Liu, Y. ; Kotowski, K. ; Adamski, S. ; Machura, B. ; Malara, W. ; Zarudzki, L. ; Nalepa, J. ; Shi, Y. ; Gao, H. ; Avestimehr, S. ; Yan, Y. ; Akbar, A. S. ; Kondrateva, E. ; Yang, H. ; Li, Z. ; Wu, H.-Y. ; Roth, J. ; Saueressig, C. ; Milesi, A. ; Nguyen, Q. D. ; Gruenhagen, N. J. ; Huang, T.-M. ; Ma, J. ; Singh, H. S. H. ; Pan, N.-Y. ; Zhang, D. ; Zeineldin, R. A. ; Futrega, M. ; Yuan, Y. ; Conte, G. M. ; Feng, X. ; Pham, Q. D. ; Xia, Y. ; Jiang, Z. ; Luu, H. M. ; Dobko, M. ; Carré, A. ; Tuchinov, B. ; Mohy-Ud-Din, H. ; Alam, S. ; Singh, A. ; Shah, N. ; Wang, W. ; Sako, C. ; Bilello, M. ; Ghodasara, S. ; Mohan, S. ; Davatzikos, C. ; Calabrese, E. ; Rudie, J. ; Villanueva-Meyer, J. ; Cha, S. ; Hess, C. ; Mongan, J. ; Ingalhalikar, M. ; Jadhav, M. ; Pandey, U. ; Saini, J. ; Huang, R. Y. ; Chang, K. ; To, M.-S. ; Bhardwaj, S. ; Chong, C. ; Agzarian, M. ; Kozubek, M. ; Lux, F. ; Michálek, J. ; Matula, P. ; Ker Kovský, M. ; Kopr Ivová, T. ; Dostál, M. ; Vybíhal, V. ; Pinho, M. C. ; Holcomb, J. ; Metz, M. ; Jain, R. ; Lee, M. D. ; Lui, Y. W. ; Tiwari, P. ; Verma, R. ; Bareja, R. ; Yadav, I. ; Chen, J. ; Kumar, N. ; Gusev, Y. ; Bhuvaneshwar, K. ; Sayah, A. ; Bencheqroun, C. ; Belouali, A. ; Madhavan, S. ; Colen, R. R. ; Kotrotsou, A. ; Vollmuth, P. ; Brugnara, G. ; Preetha, C. J. ; Sahm, F. ; Bendszus, M. ; Wick, W. ; Mahajan, A. ; Balaña, C. ; Capellades, J. ; Puig, J. ; Choi, Y. S. ; Lee, S.-K. ; Chang, J. H. ; Ahn, S. S. ; Shaykh, H. F. ; Herrera-Trujillo, A. ; Trujillo, M. ; Escobar, W. ; Abello, A. ; Bernal, J.DZNE* ; Gómez, J. ; LaMontagne, P. ; Marcus, D. S. ; Milchenko, M. ; Nazeri, A. ; Landman, B. ; Ramadass, K. ; Xu, K. ; Chotai, S. ; Chambless, L. B. ; Mistry, A. ; Thompson, R. C. ; Srinivasan, A. ; Bapuraj, J. R. ; Rao, A. ; Wang, N. ; Yoshiaki, O. ; Moritani, T. ; Turk, S. ; Lee, J. ; Prabhudesai, S. ; Garrett, J. ; Larson, M. ; Jeraj, R. ; Li, H. ; Weiss, T. ; Weller, M. ; Bink, A. ; Pouymayou, B. ; Sharma, S. ; Tseng, T.-C. ; Adabi, S. ; Xavier Falcão, A. ; Martins, S. B. ; Teixeira, B. C. A. ; Sprenger, F. ; Menotti, D. ; Lucio, D. R. ; Niclou, S. P. ; Keunen, O. ; Hau, A.-C. ; Pelaez, E. ; Franco-Maldonado, H. ; Loayza, F. ; Quevedo, S. ; McKinley, R. ; Slotboom, J. ; Radojewski, P. ; Meier, R. ; Wiest, R. ; Trenkler, J. ; Pichler, J. ; Necker, G. ; Haunschmidt, A. ; Meckel, S. ; Guevara, P. ; Torche, E. ; Mendoza, C. ; Vera, F. ; Ríos, E. ; López, E. ; Velastin, S. A. ; Choi, J. ; Baek, S. ; Kim, Y. ; Ismael, H. ; Allen, B. ; Buatti, J. M. ; Zampakis, P. ; Panagiotopoulos, V. ; Tsiganos, P. ; Alexiou, S. ; Haliassos, I. ; Zacharaki, E. I. ; Moustakas, K. ; Kalogeropoulou, C. ; Kardamakis, D. M. ; Luo, B. ; Poisson, L. M. ; Wen, N. ; Vallières, M. ; Loutfi, M. A. L. ; Fortin, D. ; Lepage, M. ; Morón, F. ; Mandel, J. ; Shukla, G. ; Liem, S. ; Alexandre, G. S. ; Lombardo, J. ; Palmer, J. D. ; Flanders, A. E. ; Dicker, A. P. ; Ogbole, G. ; Oyekunle, D. ; Odafe-Oyibotha, O. ; Osobu, B. ; Shu'aibu Hikima, M. ; Soneye, M. ; Dako, F. ; Dorcas, A. ; Murcia, D. ; Fu, E. ; Haas, R. ; Thompson, J. A. ; Ormond, D. R. ; Currie, S. ; Fatania, K. ; Frood, R. ; Simpson, A. L. ; Peoples, J. J. ; Hu, R. ; Cutler, D. ; Moraes, F. Y. ; Tran, A. ; Hamghalam, M. ; Boss, M. A. ; Gimpel, J. ; Kattil Veettil, D. ; Schmidt, K. ; Cimino, L. ; Price, C. ; Bialecki, B. ; Marella, S. ; Apgar, C. ; Jakab, A. ; Weber, M.-A. ; Colak, E. ; Kleesiek, J. ; Freymann, J. B. ; Kirby, J. S. ; Maier-Hein, L. ; Albrecht, J. ; Mattson, P. ; Karargyris, A. ; Shah, P. ; Menze, B. ; Maier-Hein, K. ; Bakas, S.

2025
Springer Nature [London]

This record in other databases:    

Please use a persistent id in citations: doi:10.1038/s41467-025-60466-1

Abstract: Computational competitions are the standard for benchmarking medical image analysis algorithms, but they typically use small curated test datasets acquired at a few centers, leaving a gap to the reality of diverse multicentric patient data. To this end, the Federated Tumor Segmentation (FeTS) Challenge represents the paradigm for real-world algorithmic performance evaluation. The FeTS challenge is a competition to benchmark (i) federated learning aggregation algorithms and (ii) state-of-the-art segmentation algorithms, across multiple international sites. Weight aggregation and client selection techniques were compared using a multicentric brain tumor dataset in realistic federated learning simulations, yielding benefits for adaptive weight aggregation, and efficiency gains through client sampling. Quantitative performance evaluation of state-of-the-art segmentation algorithms on data distributed internationally across 32 institutions yielded good generalization on average, albeit the worst-case performance revealed data-specific modes of failure. Similar multi-site setups can help validate the real-world utility of healthcare AI algorithms in the future.

Keyword(s): Humans (MeSH) ; Benchmarking: methods (MeSH) ; Algorithms (MeSH) ; Brain Neoplasms: diagnostic imaging (MeSH) ; Image Processing, Computer-Assisted: methods (MeSH) ; Artificial Intelligence (MeSH) ; Magnetic Resonance Imaging (MeSH)

---

Contributing Institute(s):

1. Clinical Neurophysiology and Memory (AG Düzel)

Research Program(s):

1. 353 - Clinical and Health Care Research (POF4-353) (POF4-353)

Appears in the scientific report 2025

---

Database coverage:
; ; ; ; Article Processing Charges ; BIOSIS Previews ; Biological Abstracts ; Clarivate Analytics Master Journal List ; Current Contents - Agriculture, Biology and Environmental Sciences ; Current Contents - Life Sciences ; Current Contents - Physical, Chemical and Earth Sciences ; DOAJ Seal ; Essential Science Indicators ; Fees ; IF >= 15 ; JCR ; SCOPUS ; Science Citation Index Expanded ; Web of Science Core Collection ; Zoological Record

---