Blog oficial para desenvolvedores que falam português
Desenvolvimento de modelos de aprendizado profundo para raios X de tórax com rótulos de imagem adjudicada
16/12/2019
Postado por Dave Steiner, médico e cientista pesquisador, e Shravya Shetty, Lead técnica, Google Health
Anualmente são realizados milhões de exames diagnósticos, e os raios X de tórax são uma ferramenta de imagem clínica importante e acessível para a detecção de várias doenças. No entanto, a eficácia dessa tecnologia pode ser limitada por desafios na interpretação, exigindo avaliação rápida e minuciosa de uma imagem bidimensional que apresenta órgãos tridimensionais e processos patológicos complexos. Por exemplo,
o câncer de pulmão em estágio inicial
ou
o pneumotórax
(colapso pulmonar) podem não ser detectados em raios X do tórax, levando a consequências adversas graves para pacientes.
Os avanços no aprendizado de máquina (ML) oferecem uma oportunidade emocionante para criar novas ferramentas que podem ajudar especialistas a interpretar imagens médicas. Empreendimentos recentes se mostraram promissores na melhoria da
detecção do câncer de pulmão
na radiologia,
na classificação do câncer de próstata
na patologia e nos
diagnósticos diferenciais
na dermatologia. No caso específico de imagens de raio X do tórax, há grandes conjuntos de imagens públicas anonimizadas disponíveis para pesquisadores de várias disciplinas. Elas facilitaram várias
tentativas
valiosas
de desenvolver modelos de aprendizado profundo para interpretação de raio X. No entanto, pode ser difícil obter os rótulos clínicos precisos e necessários para conjuntos muito grandes de imagens. A maioria dos empreendimentos aplicou um processamento de linguagem natural (PLN) baseado em regras aos relatórios radiológicos ou usou a análise de imagens de leitores individuais, que podem introduzir inconsistências ou erros, gerando problemas durante a avaliação do modelo. Outro desafio envolve reunir os conjuntos de dados que representam um espectro de casos adequadamente diverso (ou seja, garantir a inclusão de casos “difíceis” e “fáceis” que representam o espectro total da apresentação de doenças). Por fim, alguns resultados de raio X do tórax não são específicos e dependem de informações clínicas sobre o paciente para entender completamente o que eles significam. Assim, estabelecer rótulos que sejam clinicamente significativos e ter definições consistentes pode ser um componente desafiador no desenvolvimento de modelos de aprendizado de máquina que só usam a imagem como entrada. Sem conjuntos de dados padronizados e clinicamente significativos, assim como métodos de padrão de referência rigorosos, a aplicação bem-sucedida do ML à interpretação de raios X de tórax é impedida.
Para ajudar a solucionar esses problemas, nós recentemente publicamos “
Chest Radiograph Interpretation with Deep Learning Models: Assessment with Radiologist-adjudicated Reference Standards and Population-adjusted Evaluation
” (“Interpretação de radiografia torácica com modelos de aprendizado profundo: avaliação com padrões de referência adjudicados por radiologistas e avaliação ajustada por população”) no periódico
Radiology
. Nesse estudo, desenvolvemos modelos de aprendizado profundo para classificar quatro resultados clinicamente importantes em raios X de tórax: pneumotórax, nódulos e massas, fraturas e opacidades das vias aéreas. Esses resultados foram selecionados em consulta com radiologistas e colegas clínicos para focar as doenças que são críticas para o tratamento do paciente e para as quais as imagens de raio X do tórax são um estudo de imagem de primeira linha importante e acessível. A seleção desses resultados também permitiu uma avaliação do modelo usando somente imagens anonimizadas sem outros dados clínicos.
Os modelos foram avaliados usando várias imagens impressas de cada conjunto de dados para os quais coletamos rótulos de alta qualidade, usando um processo de adjudicação baseado em painéis entre radiologistas certificados pelo conselho. Outros quatro radiologistas também analisaram de modo independente as imagens impressas para comparar a precisão dos radiologistas aos modelos de aprendizado profundo (usando os rótulos de imagem baseados em painéis como o padrão de referência). Em todos os quatro resultados e em ambos os conjuntos de dados, os modelos de aprendizado profundo apresentaram desempenho a nível de radiologista. Compartilhamos os rótulos adjudicados para dados publicamente disponíveis
aqui
para facilitar outras pesquisas.
Visão geral dos dados
Este trabalho usou mais de 600 mil imagens retiradas de dois conjuntos de dados anonimizados. O primeiro conjunto de dados foi desenvolvido em colaboração com os coautores nos
Hospitais Apollo
e possui um conjunto diversificado de raios X de tórax obtidos ao longo de vários anos em diversos locais da rede de hospitais Apollo. O segundo conjunto de dados é o conjunto de imagens
ChestX-ray14
publicamente disponibilizado pelos
Institutos Nacionais de Saúde
(NIH). Esse segundo conjunto de dados foi um recurso importante para muitos empreendimentos de aprendizado de máquina, mesmo
com limitações
oriundas de problemas com a precisão e interpretação clínica dos rótulos atualmente disponíveis.
Raio X do tórax que mostra um pneumotórax no lobo superior esquerdo identificado pelo modelo e o painel de adjudicação, mas não detectado por leituras de radiologistas individuais.
Esquerda:
A imagem original.
Direita:
A mesma imagem com as regiões mais importantes para previsão do modelo destacadas em laranja.
Rótulos do conjunto de treinamento usando aprendizado profundo e análise visual de imagens
Para conjuntos de dados muito grandes com centenas de milhares de imagens, como aquelas necessárias para treinar modelos de aprendizado profundo altamente precisos, é impraticável atribuir manualmente os rótulos da imagem. Assim, desenvolvemos um modelo separado de aprendizado profundo baseado em texto para extrair rótulos de imagem usando relatórios de radiologia anonimizados associados a cada raio X. Depois, esse modelo de PLN foi aplicado para fornecer rótulos para mais de 560 mil imagens do conjunto de dados dos hospitais Apollo para treinar os modelos de visão computacional.
Para reduzir o ruído de qualquer erro introduzido pela extração de rótulos baseada em texto e também fornecer os rótulos relevantes para um número significativo de imagens do ChestX-ray14, aproximadamente 37 mil imagens de dois conjuntos de dados foram visualmente analisadas por radiologistas. Elas foram separadas dos rótulos baseados em PLN e ajudaram a garantir rótulos de alta qualidade em um conjunto tão grande e diverso de imagens de treinamento.
Criar e compartilhar rótulos padrão de referência aprimorados
Para gerar rótulos padrão de referência de alta qualidade para avaliação do modelo, utilizamos um processo de adjudicação baseado em painéis em que três radiologistas analisaram todas as imagens finais e do conjunto de testes e chegaram a um consenso sobre discordâncias. Isso frequentemente permite que resultados difíceis, inicialmente apenas detectados por um único radiologista, sejam corretamente identificados e documentados. Para reduzir o risco de parcialidades com base na personalidade ou senioridade de qualquer radiologista, os debates foram feitos anonimamente por um sistema de adjudicação e discussão on-line.
Por causa da falta de rótulos adjudicados disponíveis, uma barreira inicial significativa para nosso trabalho, estamos
compartilhando com a comunidade de pesquisadores
todos os rótulos adjudicados do conjunto de dados ChestX-ray14 publicamente disponível, incluindo 2.412 imagens do conjunto de treinamento/validação e 1.962 imagens do conjunto de dados (4.374 imagens no total). Esperamos que esses rótulos facilitem os futuros esforços de aprendizado de máquina e permitam comparações aprimoradas entre modelos de aprendizado de máquina para a interpretação de raio X de tórax.
Perspectiva futura
Esse trabalho apresenta várias contribuições: (1) liberar rótulos adjudicados para imagens de conjunto de dados publicamente disponíveis; (2) um método para ampliar a rotulagem precisa de dados de treinamento usando um modelo de aprendizado profundo baseado em texto; (3) avaliação usando um conjunto diversificado de imagens com rótulos padrão de referência adjudicada por especialistas (4) desempenho a nível profissional de radiologista dos modelos de aprendizado profundo para resultados de raios X clinicamente importantes.
No entanto, em relação ao desempenho do modelo, alcançar a precisão a nível especializado em média é apenas parte da história. Muito embora a precisão geral dos modelos de aprendizado profundo seja consistentemente similar à precisão dos radiologistas para qualquer dado resultado, o desempenho de ambos varia nos conjuntos de dados. Por exemplo, a sensibilidade para detectar pneumotórax entre radiologistas foi aproximadamente de 79% para imagens do ChestX-ray14, mas foi de apenas 52% para os mesmos radiologistas no outro conjunto de dados, o que sugere casos de coleta mais difícil. Isso destaca a importância de validar ferramentas de aprendizado profundo em vários conjuntos de dados diversificados e, eventualmente, em populações de pacientes e cenários clínicos nos quais qualquer modelo possa ser usado.
As diferenças de desempenho entre os conjuntos de dados também enfatizam a necessidade para avaliação padronizada dos conjuntos de imagem com padrões de referência precisos para permitir a comparação entre estudos. Por exemplo, se dois modelos diferentes do mesmo resultado foram avaliados usando conjuntos de dados diferentes, comparar o desempenho seria de pouca importância sem saber outros detalhes, como mistura do modelo, modos de erro do modelo ou desempenho do radiologista em casos idênticos.
Por fim, o modelo frequentemente identificou resultados que não foram detectados por radiologistas e vice-versa. Assim, as estratégias que combinam “habilidades” únicas dos sistemas de aprendizado profundo e dos especialistas provavelmente serão mais promissoras para atingir o potencial de aplicação de IA na interpretação de imagens médicas.
Agradecimentos
Os principais colaboradores desse projeto no Google foram Sid Mittal, Gavin Duggan, Anna Majkowska, Scott McKinney, Andrew Sellergren, David Steiner, Krish Eswaran, Po-Hsuan Cameron Chen, Yun Liu, Shravya Shetty e Daniel Tse. Contribuições significativas também foram feitas pelos radiologistas colaboradores Joshua Reicher, Alexander Ding e Sreenivasa Raju Kalidindi. Os autores também gostariam de agradecer muitos membros da equipe de radiologia do Google Health, incluindo Jonny Wong, Diego Ardila, Zvika Ben-Haim, Rory Sayres, Shahar Jamshy, Shabir Adeel, Mikhail Fomitchev, Akinori Mitani, Quang Duong, William Chen e Sahar Kazemzadeh. Agradecemos também os inúmeros radiologistas que nos ajudaram com a interpretação de imagem especializada durante o projeto.
Nenhum comentário :
Postar um comentário
Labels
+page
1
20th Century Fox
1
A/B
1
Action
1
Action Console
1
Actions
3
Actions Console
1
Actions on Google
1
ActiveQA
1
Adaptive Battery
1
AddThis
1
ADK
1
ADL
1
Admin do Firebase
1
AdMob
6
Ads
2
AdWords
1
AdX
1
AI
4
algoritmo
1
AMP
6
AMP Linker
1
AMP Project
1
Analytics API
1
Android
58
Android 8.0 Oreo
1
Android 8.1
1
Android ADK
2
Android API
2
Android App Bundle
1
Android Dev Summit
1
Android Developers
23
Android Marshmallow
1
Android N
3
Android Nougat
2
Android P
3
Android P Beta 2
1
Android Preview
1
Android SDK
1
android studio
8
Android Studio 3.2
1
android wear
2
AndroidDev
6
AndroidX
1
Announcement
2
AoG
1
AoGDevs
1
api
15
API 25
1
API 28
1
APIs
4
Aplicativos
4
app
1
App Engine
1
Apple
1
apply
1
Apps
9
AR
1
ARCore
3
artificial intelligence
1
AsyncTask
1
AUC
1
AutoAugment
1
Avro
1
Awareness API
1
Biblioteca do Google
1
Big Data
1
BigQuery
1
BiometricPrompt
1
bitcode
1
Borg
1
Bot
1
bytecode Dalvik
1
C++
1
câmera
1
CameraDevice
1
Canal Beta
1
canary
1
câncer de próstata
1
Capital One
1
Cast
1
CFI
1
Chrome
8
Chrome 68
1
Chrome Dev Summit
1
Chrome DevTools
1
Chrome OS
2
Chromecast
1
Chromium
2
CI
1
CLI
1
Cloud
6
Cloud Computing
1
Cloud Console
1
Cloud Dataflow
1
Cloud Developers
2
Cloud DLP
1
Cloud Firestore
1
Cloud Messaging
1
Cloud ML Engine
1
Cloud Scheduler
1
Cloud Shell
1
Cloud Source Repositories
1
Cloud Spanner
2
CodeSchool
1
código aberto
2
Compute Engine
1
ConfigMap
1
Container Builder
1
CPU
2
Crash Reporting
2
Crashlytics
3
credential api
1
criptografia
1
CSS
3
CSS Grid Layout
1
CSV
1
CTA
1
Curitiba
1
Dart API
1
Data Validation
1
DBAs
1
DCGAN
1
Desenvolvedores Google
11
Desenvolvimento
3
DevBusBrasil
1
DevBytes
2
Developer Bus
1
Developer Preview
1
developer quiz
1
DevFest
3
DevFest16
1
DevFest18
1
DevFestW
1
DFP
2
Dialogflow
1
DLP
1
DLS
1
documentação
1
Dragon Ball Legends
1
E2E
1
eclipse
1
end-to-end-encryption
1
Estimator
1
Estimators API
1
estudantes
1
Eventos
15
Famílias multilíngue
1
FCM
2
Featured
1
Firebase
24
Firebase Analytics
6
Firebase App Indexing
2
Firebase Cloud Messaging
5
Firebase Crashlytics
2
Firebase Dynamic Links
3
Firebase In-App Messaging
1
Firebase Invites
2
Firebase Lab
1
Firebase Links Dinamicos
1
Firebase Notifications
3
Firebase Remote Config
1
Flutter
3
FRR
1
G+
1
game
1
game dev
3
Games
2
games services
1
GCloud
3
GCM
1
GCP
7
GDD
7
GDE
1
GDEs
1
GDG
12
GDG Curitiba
1
GDG Floripa
1
GDG OpenSampa
1
GDG Porto Alegre
1
GDG Recife
1
GDG SP
3
GDGs
1
GDL
1
Git
1
GitHub
1
GNMT
1
Google
3
Google Ad Manager
1
Google AI
1
Google Analytics
1
Google Assistant
1
Google Assistente
3
Google Brain
2
Google Cast SDK
1
google clou
1
Google Cloud
17
Google Cloud Certified
1
Google Cloud Healthcare API
1
Google Cloud Platform
3
google code-in
1
Google Developer Advocate
1
Google Developer Expert
1
Google Developers
11
Google Fotos
1
Google I/O
6
Google Play
16
Google Play Games services
1
Google Play Protect
1
Google Play Services
4
Google Slides
1
Google Speech
1
google summer of code
1
Google+
2
Google+ sign-in
1
Googlers
1
GPU
2
GSuites
1
GUI
1
Hackathon
1
Hangouts
1
Hangouts Chat
1
HDR
1
High Quality Apps
2
HTML5
6
HTTP
3
HTTPS
2
HttpURLConnection
2
I/O
1
IA
2
Illusive Images
1
ImageReader
1
In-App Messaging
1
Inglês
1
Instant Apps
1
inteligencia artificial
1
IntelliJ REPL
1
IntentService
1
Interoperabilidade
1
IO Extended
1
IO13
1
iOS
9
IU
2
Java
1
Java 8
1
javascript
2
JPEG
1
JSON
2
Kaggle
1
kernel
1
Keyboard Map API
1
Knowledge Connectors
1
Kotlin
6
Kotlin da Udacity
1
Kubernetes
5
LangID
1
Launchpad
1
launchpad accelerator
2
Learning Augmentation
1
LEGO
1
Listas
1
ListFragment
1
LLVM
1
LTO
1
Machine Learning
2
Meetup
2
mensagens
1
Mentoria
1
Messaging
2
microsserviços
1
ML
2
ML Kit
1
Mobile
3
Mobile Ads SDK
1
Monetização
3
Monetize
3
MySQL
1
Native
1
Navigation Architecture Component
1
NES
1
Neto Marin
2
Next Level Apps
2
Next Level Tips
2
NNLM
1
Node.js
2
Notificações
1
novembro azul
1
Number Genie
1
Nuvem Profissional
1
OAuth
2
OAuth2
1
Open Images Extended
1
open source
3
Options Menu
1
Options Menu virtual
1
Orkut
2
Payment Request
1
pesquisa
1
PHA
1
Phone Gateway
1
PII
1
pixel
1
Play Academy
1
Play Console
1
Play Services
1
Playtime 2018
1
plug-in AMP
1
Porto Alegre
1
Preact
1
PRIV
1
program
1
progressive web apps
2
Push Notification
2
Python
1
QA
1
RA
2
Raspberry Pi
1
RBDMS
1
React
1
recording apis
1
remarketing
1
Remote Config
2
research
4
ResultReceiver
1
reward
1
RNN
2
Robolectric 4.0
1
RV
1
Sceneform
1
SDK
4
SDK Manager
3
Security
2
Server
1
service worker
1
sign-in
1
Sliding Tabs
1
Smartronix
1
social
6
Spark
1
SRE
1
Stack
1
Stack Overflow
1
Startups
2
Storage
2
story
1
Support Library
1
SurfaceView
1
Svelte
1
switch
1
Tag Manager
1
Tag Manager 360
1
tensorflow
5
TensorFlow Hub
2
TensorFlow Lite
1
TensorFlow Transform
1
Test Lab
2
Testes
1
TF Hub
2
tf.keras
1
TFDV
1
TFX
1
TI essencial
1
toolkit
1
tradução
1
TTS
1
Udacity
1
Universal Apps
1
Universal Sentence Encoder
1
user experience
1
ux
1
VectorDrawable
1
Velostrata
1
Volley
1
vr
2
vulnerabilidades
1
vulnerabilidades do Google
1
vulnerability
1
web
2
web dev
2
WebKit
1
webservice
3
when
1
WordPress
1
WorkerDOM
1
YouTube
4
YouTube API
1
YUV
1
Zomato
1
Archive
2020
jan
2019
dez
nov
out
set
ago
jul
jun
mai
abr
2018
dez
nov
out
set
ago
jul
jun
mai
abr
mar
fev
2017
ago
jul
jun
mai
abr
mar
jan
2016
dez
nov
out
set
ago
jul
mai
mar
2014
jul
jun
abr
mar
fev
2013
dez
nov
out
set
ago
jul
jun
mai
mar
fev
jan
2012
nov
jul
jun
mai
abr
mar
2011
nov
set
ago
jul
jun
Feed
Follow @googledevbr
Nenhum comentário :
Postar um comentário