(Quelle: Bru-nO / pixabay)
Babylon Health gab vergangene Woche während einer Präsentation, die live vom Londoner Royal College of Physicians gestreamt wurde, ein weltweit erstmaliges Ereignis bekannt: Die AI des Unternehmens hat in einer Reihe von strengen Tests (einschließlich der relevanten Abschnitte der MRCGP-Prüfung) ihre Fähigkeit bewiesen, eine Gesundheitsberatung zu bieten, die derjenigen von praktizierenden Medizinern gleichwertig ist.
Die MRCGP-Prüfung ist der letzte Test in der Ausbildung von Allgemeinmedizinern (GPs) und wurde vom Royal College of General Practitioners (RCGP) erstellt. Auszubildende Allgemeinmediziner, die diese Beurteilung bestehen, haben ihre Kompetenz und ihre klinischen Fähigkeiten auf einem Niveau unter Beweis gestellt, das ausreichend hoch ist, um eine selbständige Praxis zu betreiben.
Ein wichtiger Teil dieser Prüfung testet die Diagnosefähigkeit eines Arztes.
1. Die Technologie von Babylon bietet wegen aufsichtsbehördlichen Auflagen Gesundheitsinformationen und keine medizinische Diagnose. Die durchgeführten Tests beziehen sich auf die Diagnose-Prüfungen, die Ärzte zur Bemessung ihrer Genauigkeit machen. Babylons AI-Service bleibt jedoch ein Informationsdienst und bietet keine medizinische Diagnose.
Babylon stellte sich einer repräsentativen Musterauswahl von Fragen, mit denen die diagnostischen Fähigkeiten getestet werden und die aus öffentlich zugänglichen RCGP-Quellen bezogen werden können, sowie aus unabhängig veröffentlichten Materialien zur Prüfungsvorbereitung, die dem aktuellen RCGP-Lehrplan zugeordnet wurden, um sicherzustellen, dass die Fragen so nah wie möglich den tatsächlichen MRCGP-Fragen glichen.
Die durchschnittliche Punktzahl der echten Ärzte, die in den letzten fünf Jahren diese Prüfung bestanden haben, lag bei 72 %. Babylon machte die Prüfung zum ersten Mal und erzielte 81 %.Da die AI weiterlernt und immer mehr Wissen ansammelt, erwartet Babylon, dass nachfolgende Tests erhebliche Verbesserungen in Bezug auf die Ergebnisse zeigen werden.
So wichtig diese Prüfungen auch sind, so kommen die Ärzte in ihrer täglichen Praxis doch mit einem viel größeren Spektrum von Krankheiten und Beschwerden in Berührung. Um die Fähigkeiten der AI weiter zu testen, arbeitete Babylons Team von Wissenschaftlern, Medizinern und Ingenieuren als Nächstes mit dem Royal College of Physicians, Dr. Megan Mahoney (Chief of General Primary Care, Division of Primary Care and Population Health, Stanford University) und Dr. Arnold DoRosario (Chief Population Health Officer, Yale New Haven Health) zusammen, um Babylons AI neben sieben äußerst erfahrenen Ärzten für Allgemeinmedizin zu testen, wobei 100 unabhängig zusammengestellte Symptomgruppen (oder "Vignetten") genutzt wurden.
Babylons AI erzielte eine Genauigkeit von 80 %, während die sieben Ärzte einen Genauigkeitsbereich von 64 % bis 94 % erreichten.
Die Genauigkeit der AI lag sogar bei 98 %, wenn es um Beschwerden ging, die am häufigsten in der medizinischen Grundversorgung vorkommen. Als das Forschungsteam von Babylon im Vergleich dazu erfahrene Mediziner vor dieselben Aufgaben stellte, lag deren Genauigkeit bei 52 % bis 99 %.
2. Da die RCGP keine früheren Prüfungsunterlagen veröffentlicht, nutzte Babylon während seiner AI-Prüfungsvorbereitung und der Prüfung selbst beispielhafte Fragen. Einige waren direkt von der Hochschule veröffentlicht worden, andere wurden aus öffentlich verfügbaren Ressourcen bezogen (die hier alle referenziert werden).
3. Die durchschnittliche CSA-Punktzahl der auszubildenden Allgemeinärzte wurde anhand öffentlich zugänglicher RCGP-Testergebnisdaten aus dem Zeitraum 2012-2017 berechnet.
Entscheidend war die Sicherheit der AI mit 97 %. Dies sieht im Vergleich zu den Ärzten positiv aus, deren Durchschnitt 93,1 % betrug.
Dr. Ali Parsa, Gründer und CEO von Babylon sagte zu den Nachrichten von heute Abend: "Die Weltgesundheitsorganisation schätzt, dass es weltweit einen Mangel von über 5 Millionen Ärzten gibt, was dazu führt, dass mehr als die Hälfte der Weltbevölkerung keinen Zugang zu selbst den grundlegendsten Gesundheitsdienstleistungen hat. Sogar in den reichsten Ländern wird die medizinische Grundversorgung in zunehmendem Maße unbezahlbar und unbequem und ist häufig mit Wartezeiten verbunden, wodurch sie nicht als leicht zugänglich bezeichnet werden kann.Die Fähigkeiten der neuesten künstlichen Intelligenz von Babylon zeigen, dass es für jedermann möglich ist, unabhängig vom geografischen Ort, seiner Vermögenslage oder seinen Umständen freien Zugang zu Gesundheitsratschlägen zu erhalten, die denen von hoch angesehenen praktischen Ärzten gleichwertig sind.
"Die Ergebnisse des heutigen Abends zeigen deutlich, wie durch AI erweiterte Gesundheitsdienste die Belastung der Gesundheitssysteme weltweit verringern können. Unsere Mission ist es, zugängliche und erschwingliche Gesundheitsdienstleistungen in die Hände jedes Menschen auf der Erde zu legen. Diese bedeutenden Ergebnisse bringen die Menschheit einen wichtigen Schritt näher zu einer besseren Welt, in der niemandem eine sichere und exakte Gesundheitsberatung verweigert wird."