Стабільне мовлення могло б усунути прогалину в даних медичних зображень
Перегляньте всі сеанси Smart Security Summit за запитом тут.
Лікарі, які спеціалізуються на рідкісних захворюваннях, мають обмежені можливості навчатися по ходу роботи. Відсутність різноманітних даних про здоров’я для навчання студентів є серйозною проблемою в цих областях.
«Під час роботи в середовищі з розрідженими даними ваша продуктивність залежить від досвіду: що більше зображень ви бачите, то кращими стаєте», — сказав Крістіан Блютген, рентгенолог органів грудної клітки та постдокторант Стенфордського центру ШІ в медицині та візуалізації (AIMI). дослідник, який протягом останніх семи років вивчав рідкісні захворювання легенів.
Коли в серпні Stability AI випустив Stable Diffusion, свою основну модель синтезу тексту в зображення, у Блютгена виникла ідея: а що, якби ви могли поєднати реальну потребу в медицині з легкістю створення красивих зображень із простого тексту ? інструкції? Якби Stable Diffusion міг створювати медичні зображення, які точно відображають клінічний контекст, це могло б зменшити прогалини в навчальних даних.
Блютген об’єднався з П’єром Шамбоном, аспірантом Стенфордського університету в Інституті обчислювальної та математичної інженерії та дослідником машинного навчання (ML) в AIMI, щоб розробити дослідження, яке мало б розширити можливості стабільної дифузії для створення найпоширеніший вид медичних знімків - рентген грудної клітки.
ПодіяСаміт Smart Security за запитом
Дізнайтеся про важливу роль штучного інтелекту та машинного навчання в кібербезпеці та практичні приклади для окремих галузей. Дивіться сеанси за запитом сьогодні.
ПослухайтеРазом вони виявили, що завдяки додатковому навчанню модель прихованого розсіювання загального призначення працювала напрочуд добре для створення зображень легенів людини з помітними аномаліями. Це багатообіцяючий прорив, який може призвести до ширших досліджень, кращого розуміння рідкісних захворювань і, можливо, навіть до розробки нових протоколів лікування.
Від загального призначення до конкретного доменуНаразі базові моделі, навчені за допомогою природних зображень і мови, не працювали добре, коли їм ставилися завдання, пов’язані з доменом. Такі професійні галузі, як медицина та фінанси, мають власний жаргон, термінологію та правила, які не враховуються в наборах загальноосвітніх даних. Але одна перевага виявилася для дослідження команди: радіологи завжди готують детальний текстовий звіт, який описує їхні висновки на кожному зображенні, яке вони аналізують. Додавши ці навчальні дані до своєї моделі стабільної дифузії, команда сподівалася, що модель зможе навчитися створювати синтетичні медичні дані зображень, коли їй будуть запропоновані відповідні медичні ключові слова.
«Ми не перші, хто підготував модель для рентгенівських знімків грудної клітини, але раніше вам доводилося робити це за допомогою спеціальних наборів даних і платити дуже високу ціну за обчислювальну потужність», — сказав Чамбон. «Ці перешкоди заважають проведенню багатьох важливих досліджень. Ми хотіли перевірити, чи можна запустити цей підхід і використати існуючу базову модель з відкритим кодом лише з кількома незначними налаштуваннями. »
Щоб перевірити можливості Stable Diffusion, Bluethgen і Chambon...
Перегляньте всі сеанси Smart Security Summit за запитом тут.
Лікарі, які спеціалізуються на рідкісних захворюваннях, мають обмежені можливості навчатися по ходу роботи. Відсутність різноманітних даних про здоров’я для навчання студентів є серйозною проблемою в цих областях.
«Під час роботи в середовищі з розрідженими даними ваша продуктивність залежить від досвіду: що більше зображень ви бачите, то кращими стаєте», — сказав Крістіан Блютген, рентгенолог органів грудної клітки та постдокторант Стенфордського центру ШІ в медицині та візуалізації (AIMI). дослідник, який протягом останніх семи років вивчав рідкісні захворювання легенів.
Коли в серпні Stability AI випустив Stable Diffusion, свою основну модель синтезу тексту в зображення, у Блютгена виникла ідея: а що, якби ви могли поєднати реальну потребу в медицині з легкістю створення красивих зображень із простого тексту ? інструкції? Якби Stable Diffusion міг створювати медичні зображення, які точно відображають клінічний контекст, це могло б зменшити прогалини в навчальних даних.
Блютген об’єднався з П’єром Шамбоном, аспірантом Стенфордського університету в Інституті обчислювальної та математичної інженерії та дослідником машинного навчання (ML) в AIMI, щоб розробити дослідження, яке мало б розширити можливості стабільної дифузії для створення найпоширеніший вид медичних знімків - рентген грудної клітки.
ПодіяСаміт Smart Security за запитом
Дізнайтеся про важливу роль штучного інтелекту та машинного навчання в кібербезпеці та практичні приклади для окремих галузей. Дивіться сеанси за запитом сьогодні.
ПослухайтеРазом вони виявили, що завдяки додатковому навчанню модель прихованого розсіювання загального призначення працювала напрочуд добре для створення зображень легенів людини з помітними аномаліями. Це багатообіцяючий прорив, який може призвести до ширших досліджень, кращого розуміння рідкісних захворювань і, можливо, навіть до розробки нових протоколів лікування.
Від загального призначення до конкретного доменуНаразі базові моделі, навчені за допомогою природних зображень і мови, не працювали добре, коли їм ставилися завдання, пов’язані з доменом. Такі професійні галузі, як медицина та фінанси, мають власний жаргон, термінологію та правила, які не враховуються в наборах загальноосвітніх даних. Але одна перевага виявилася для дослідження команди: радіологи завжди готують детальний текстовий звіт, який описує їхні висновки на кожному зображенні, яке вони аналізують. Додавши ці навчальні дані до своєї моделі стабільної дифузії, команда сподівалася, що модель зможе навчитися створювати синтетичні медичні дані зображень, коли їй будуть запропоновані відповідні медичні ключові слова.
«Ми не перші, хто підготував модель для рентгенівських знімків грудної клітини, але раніше вам доводилося робити це за допомогою спеціальних наборів даних і платити дуже високу ціну за обчислювальну потужність», — сказав Чамбон. «Ці перешкоди заважають проведенню багатьох важливих досліджень. Ми хотіли перевірити, чи можна запустити цей підхід і використати існуючу базову модель з відкритим кодом лише з кількома незначними налаштуваннями. »
Щоб перевірити можливості Stable Diffusion, Bluethgen і Chambon...
What's Your Reaction?
