إعادة بناء الصور التي يراها الشخص من خلال فحوصات الدماغ غير الغازية
تم الإرسال إلى مؤتمر مجهول
زيجياو تشين 1 *
جياكسين تشينغ 2 *
تيانج شيانغ 3
وان لين يو 1
خوان هيلين تشو 1
1 جامعة سنغافورة الوطنية ، مركز النوم والإدراك ، مركز البحث المترجم في الرنين المغناطيسي
2. الجامعة الصينية بهونج كونج ، قسم هندسة المعلومات
3 جامعة ستاندفورد ، مختبر الرؤية والتعلم
* مساهمة متساوية
تبصر
تحفيز
يهدف فك ترميز المحفزات البصرية من تسجيلات الدماغ إلى تعميق فهمنا للنظام البصري البشري وبناء أساس متين لربط الرؤية البشرية ورؤية الكمبيوتر عبر واجهة الدماغ والحاسوب. ومع ذلك ، نظرًا لندرة التعليقات التوضيحية للبيانات وتعقيد معلومات الدماغ الأساسية ، من الصعب فك تشفير الصور بتفاصيل دقيقة ودلالات ذات مغزى. إسهام
في هذا العمل ، نقدم MinD-Vis: نمذجة الدماغ المقنع المتناثرة مع نموذج انتشار الشرط المزدوج لفك تشفير الرؤية. على وجه التحديد ، من خلال زيادة القدرة المعلوماتية للتمثيلات المكتسبة في مجموعة بيانات الرنين المغناطيسي الوظيفي على نطاق واسع في حالة الراحة ، نظهر أن إطار عمل MinD-Vis الخاص بنا أعاد بناء صور معقولة للغاية بتفاصيل مطابقة لغويًا.من تسجيلات الدماغ مع عدد قليل جدًا من أزواج التدريب. قمنا بمقارنة نموذجنا وطريقتنا بتفوق أحدث التقنيات في رسم الخرائط الدلالية (التصنيف الدلالي 100 اتجاه) وجودة البناء (FID) بنسبة 66٪ و 41٪ على التوالي. يتم إجراء دراسات اجتثاث مكثفة لتحليل إطار عملنا.
نقاط القوة
نظام فك تشفير بصري بشري يستجيب فقط لشروح محدودة.
أحدث دقة تصنيف 100 اتجاه لأعلى 1 على مجموعة بيانات GOD: 23.9٪ ، متجاوزة أفضل نسبة سابقة تبلغ 66٪.
ذروة جودة البناء (FID) على مجموعة بيانات GOD: 1.67 ، متفوقةً على أفضل أداء سابق بنسبة 41٪.
لأول مرة ، أظهرنا أنه يمكن استخدام تسجيلات الدماغ غير الغازية لفك تشفير الصور ذات الأداء المماثل للقياسات الغازية.
MinD-Vis
خطوة A (يسار): تدريب مسبق تحت الإشراف الذاتي على مجموعة بيانات الرنين المغناطيسي الوظيفي واسعة النطاق باستخدام نمذجة الدماغ المقنع القائمة على الترميز (SC-MBM) ؛ المرحلة ب (على اليمين): نموذج الانتشار الكامن مزدوج تكييف (DC-LDM) لتوليد الصور المشروط بتسجيلات الدماغ.
النتائج مقارنة بالمعايير
مجموعة بيانات النسخ المتماثل للجيل
BibTeX
إذا وجدت بياناتنا أو مشروعنا مفيدًا في بحثك ، فيرجى الاستشهاد بما يلي:
@ إجراءات {chen_2022_arXiv ،
المؤلف = {Chen، Zijiao and Qing، Jiaxin and Xiang، Tiange and Yue، Wan Lin and Zhou، Juan Helen} ،
title = {Seeing Beyond the Brain: Masked Modeling Conditioned Diffusion Model لفك تشفير الرؤية البشرية} ،
عنوان الكتاب = {arXiv} ،
الشهر = {نوفمبر} ،
السنة = {2022} ،
عنوان URL = {https://arxiv.org/abs/2211.06956}
}
شكرًا تم ...
تم الإرسال إلى مؤتمر مجهول
زيجياو تشين 1 *
جياكسين تشينغ 2 *
تيانج شيانغ 3
وان لين يو 1
خوان هيلين تشو 1
1 جامعة سنغافورة الوطنية ، مركز النوم والإدراك ، مركز البحث المترجم في الرنين المغناطيسي
2. الجامعة الصينية بهونج كونج ، قسم هندسة المعلومات
3 جامعة ستاندفورد ، مختبر الرؤية والتعلم
* مساهمة متساوية
تبصر
تحفيز
يهدف فك ترميز المحفزات البصرية من تسجيلات الدماغ إلى تعميق فهمنا للنظام البصري البشري وبناء أساس متين لربط الرؤية البشرية ورؤية الكمبيوتر عبر واجهة الدماغ والحاسوب. ومع ذلك ، نظرًا لندرة التعليقات التوضيحية للبيانات وتعقيد معلومات الدماغ الأساسية ، من الصعب فك تشفير الصور بتفاصيل دقيقة ودلالات ذات مغزى. إسهام
في هذا العمل ، نقدم MinD-Vis: نمذجة الدماغ المقنع المتناثرة مع نموذج انتشار الشرط المزدوج لفك تشفير الرؤية. على وجه التحديد ، من خلال زيادة القدرة المعلوماتية للتمثيلات المكتسبة في مجموعة بيانات الرنين المغناطيسي الوظيفي على نطاق واسع في حالة الراحة ، نظهر أن إطار عمل MinD-Vis الخاص بنا أعاد بناء صور معقولة للغاية بتفاصيل مطابقة لغويًا.من تسجيلات الدماغ مع عدد قليل جدًا من أزواج التدريب. قمنا بمقارنة نموذجنا وطريقتنا بتفوق أحدث التقنيات في رسم الخرائط الدلالية (التصنيف الدلالي 100 اتجاه) وجودة البناء (FID) بنسبة 66٪ و 41٪ على التوالي. يتم إجراء دراسات اجتثاث مكثفة لتحليل إطار عملنا.
نقاط القوة
نظام فك تشفير بصري بشري يستجيب فقط لشروح محدودة.
أحدث دقة تصنيف 100 اتجاه لأعلى 1 على مجموعة بيانات GOD: 23.9٪ ، متجاوزة أفضل نسبة سابقة تبلغ 66٪.
ذروة جودة البناء (FID) على مجموعة بيانات GOD: 1.67 ، متفوقةً على أفضل أداء سابق بنسبة 41٪.
لأول مرة ، أظهرنا أنه يمكن استخدام تسجيلات الدماغ غير الغازية لفك تشفير الصور ذات الأداء المماثل للقياسات الغازية.
MinD-Vis
خطوة A (يسار): تدريب مسبق تحت الإشراف الذاتي على مجموعة بيانات الرنين المغناطيسي الوظيفي واسعة النطاق باستخدام نمذجة الدماغ المقنع القائمة على الترميز (SC-MBM) ؛ المرحلة ب (على اليمين): نموذج الانتشار الكامن مزدوج تكييف (DC-LDM) لتوليد الصور المشروط بتسجيلات الدماغ.
النتائج مقارنة بالمعايير
مجموعة بيانات النسخ المتماثل للجيل
BibTeX
إذا وجدت بياناتنا أو مشروعنا مفيدًا في بحثك ، فيرجى الاستشهاد بما يلي:
@ إجراءات {chen_2022_arXiv ،
المؤلف = {Chen، Zijiao and Qing، Jiaxin and Xiang، Tiange and Yue، Wan Lin and Zhou، Juan Helen} ،
title = {Seeing Beyond the Brain: Masked Modeling Conditioned Diffusion Model لفك تشفير الرؤية البشرية} ،
عنوان الكتاب = {arXiv} ،
الشهر = {نوفمبر} ،
السنة = {2022} ،
عنوان URL = {https://arxiv.org/abs/2211.06956}
}
شكرًا تم ...
What's Your Reaction?
