Post on 24-Feb-2021
Medisinsk bildebehandling og maskinlæring
Robert JenssenMachine Learning Group, UiT The Arctic University of Norway
machine-learning.uit.no
Tekna, 12.10 2020
Agenda
• Litt bakgrunn og kontekst
• Blodstrømming til hjernen - PET
• Segmentere lunketumorer – PET/MR
• Tolkbar AI innen medisinsk bildebehandling (sneak peak)
2
~25 Group Members / machine-learning.uit.no 3
Numbers: FeaturesTraining data:Text
DocumentsImages
Measure-ments
Machine learning
algorithmAnnotations / labels / gold standard
New data:Text
DocumentsImages
Measure-ments
Trainedmodel
PredictionExpected label
0.31020.8...
3070.40.1...
1.20.431.1...
1.411101.2...
AI: learn patterns in the numbers!
4
I front innenmaskinlæring og deep learning
SEN: A Novel Dissimilarity Measure for Prototypical Few-Shot Learning NetworksN Van Nguyen, S Løkse, K Wickstrøm, M Kampffmeyer, D Roverso, R. Jenssen ECCV, 2020
Multivariate Extension of Matrix-based Renyi's α-order Entropy FunctionalS Yu, L Giraldo, R Jenssen, J PrincipeIEEE Trans. Pattern Analysis and Machine Intelligence, 2020
Understanding Convolutional Neural Networks with Information Theory: An Initial ExplorationS Yu, K Wickstrøm, R Jenssen, J PrincipeIEEE Trans. Neural Networks and Learning Systems, 2020
Deep Divergence-based Approach to ClusteringM Kampffmeyer, S Løkse, F Bianchi, L Livi, A Salberg, R JenssenNeural Networks, 2019
Rethinking Knowledge Graph Propagation for Zero-Shot LearningM Kampffmeyer, E Xing et al.CVPR, 2019
We are grateful to NVIDIA Corporation for GPU donations
Elektroniske pasientjournaler
Patientinfo, diagnostske tester, lab resultater, medisinske bilder, genomikk, proteomikk, behandlinger (ICD), utfall, økonomi, transaksjoner.
• Kan vi utnytte disse datakildene?
• Bedre helsetjenester og redusertekostnader.
Helsedata
6
Tidsskrift for Den norske legeforening, Oct. 2019
8
Best Paper Award
International Medical Informatics
Association(IMIA)
>1000 kandidater
Karl Ø MikalsenStein O SkrøvsethArthur RevhaugRobert Jenssen
MaskinlæringDeep learningKunstig intelligens/AI
ved UiT i partnerskap med Universitetssykehuset i Nord Norge (UNN)
For medisinsk bildebehandling
10
Tett samarbeid med PET-senteret ved Universitetssykehuset i Nord Norge
11
Rune Sundset (venstre), lederTrond Mohn (høyre), bidragsyter Samlokalisert med UiT
Blodforsyning til hjernen
• PET tracer (oksygen-15 merka vann)
• Forskjellige områder (kammermodell).
• Kontinuerlig uttaking av blod fra arterie (arterial input function - AIF).
12
Tracer in arterialblood
Cp
Tracer in tissue
Ct
K1
k2
https://en.wikipedia.org/wiki/Cerebral_circulation
13
• Ubehagelig!
• Tekniske begrensninger.
• Alternativene har også utfordringer.
Cerebralbloodflowmeasurementswith15O-waterPETusinganon-invasivemachine-learning-
derivedarterialinputfunction
SamuelKuttner1,2,3*,KristofferKnutsen Wickstrøm2,MarkLubberink4,AndreasTolf5,JoachimBurman5,RuneSundset1,3,RobertJenssen2,LieuweAppel4,JanAxelsson6
1NuclearMedicineandRadiationBiologyResearchGroup,DepartmentofClinicalMedicine,UiT TheArcticUniversityofNorway,Tromsø,Norway.2UiTMachineLearningGroup,DepartmentofPhysicsandTechnology,UiT TheArcticUniversityofNorway,Tromsø,Norway.3ThePETImagingCenter,UniversityHospitalofNorthNorway,Tromsø,Norway.4DepartmentofSurgicalSciences,Radiology,UppsalaUniversity,Uppsala,Sweden.5DepartmentofNeuroscience,UppsalaUniversity,Uppsala,Sweden.6DepartmentofRadiationSciences,UmeåUniversity,Umeå,Sweden.
Journal of Cerebral Blood Flow and Metabolism, 2020
• #pasienter = 25• Uppsala
universitetssykehus• Multiple sklerose
• Summér pikselintensiteter påhvert tidssteg.
t=23s t=28s t=33s t=38s t=570s
5 13 18 23 28 33 38 43 48 55 65 75 85 98 113 130 150 170 195 225 270 330 390 450 510 570Linearized time [s]
0
1
2
3
4
5
6
7
Sum
[kBq
/cc]
109
25% max
Kurve over tidssteg.
Optimalt tidsstegCoronal MIPs:
Tverrfaglighet er nøkkelen!
AIF-relevantefeatures
N=100 N=101 N=102 N=103 N=104 N=105 N=all
• N: #piksler med høyest intensitet
• Blodkurver
Features for maskinlæring
Predikere AIF (supervised)
Maskinlæring (KI/AI)
N
pt
Input, Xtr
N = patientsp = featurest = time steps
Output, ytr
N
Prediction, YtrLoss
1t
ML model
Update ML model
Model training
TrainedML modelXte Yte yteLModel
testing
𝐿 =1𝑁%!"#
$
𝑦! − (𝑦! %
Fold 1
k-fold cross validation
Fold 2 Fold k
All patients are in test set once!If k=N => Leave-one-out cross validation
Xte
Xtr ...
Veldig lovenderesultater!
Kan få storbetydning ogklinisk relevans.
Utfordringer
• Få annoteringer/labels (liten kohort).
• Nyttiggjøre nye typer avbildningsteknikker?
• Potensiale i hybrid PET/MR?
20
Segmentere tumorer uten noen “fasit” å
lære av:
21
• Samarbeid m/NTNU (Live Eikenes)• #pasienter = 18 (18F-FDG)• Lungekreft• I revisjon
Prosedyre
ü Kombinere informasjon fra PET og MR (co-registrert).
ü Oversegmentere/lage supervoksler for hver pasient.
ü Lage features for hver supervoksel.
ü Bruke/utvikle maskinlæring kjent som klynging for å grupperesupervokslene i tumor eller ikke-tumor.
22
23
Tumor-relevantefeatures
ß Supervokser Beggemodaliteter
bidrar
24
25
Finner tumorer helt uten «fasit»
Forskjellige metoder
for klynging
ß Nyere metode (vi har bidratt)
26
• Nytt forskningssenter med ~300 MNOK totalbudsjett/8 år.
• Innovasjoner fra komplekse bildedata, inkludert medisinske bilder.
• Internasjonalt ledende senter, løse neste generasjons forskningsutfordringer innen deep learning.
Partnere
Hjelpe legen med å tolke resultatNy metodikk innen deep learning-feltet
28
Uncertainty and Interpretability in Convolutional Neural Networks for Semantic Segmentation of
Colorectal PolypsK Wickstrøm, M Kampffmeyer, R Jenssen
Medical Image Analysis, 2020
Sneak peak Visual Intelligence @ Youtube
Normkonferansen2019
30
Meg
Direktoratet for e-helse
Innleder og i panel
• “King of disruption –kunstig intelligens i helse”
(med bl.a datatilsynet og pasientombud Oslo og Akershus)
Takk til alle!
31