دانشمندان دانشگاه های ییل ، دارتموت و کمبریج یک مدل MindLLM را تهیه کرده اند که می تواند سیگنال هایی از لایه رزونانس عملکردی (FMRI) را به متن تبدیل کند. بر خلاف روشهای قبلی ، برای هر شخص نیازی به تنظیمات شخصی ندارد.
پیش از این ، تلاش برای تبدیل فعالیت مغز به متن ، با مشکلات دقیق کم ، مجموعه ای از کارهای محدود روبرو شده بود و نمی توانست با افراد مختلف کار کند. مدل های فعلی به خصوصیات شخصی مغز بستگی دارد و دانش برای کاربران جدید تحمل ضعیف دارد. Mindllm از یک رویکرد متفاوت مبتنی بر رسیدگی به قوانین عمومی عملکرد مغز استفاده می کند و به آن اجازه می دهد تا با افراد و وظایف مختلف بهتر سازگار شود.
این مدل شامل دو مؤلفه اصلی است: رمزگذار FMRI و شبکه عصبی زبانی. مغز را اسکن کنید تا آن را به مناطق کوچک سه بعدی تقسیم کنید – Vokseli ، تعداد و مکان در افراد مختلف. با این حال ، عملکردهای مغز هنوز مشابه است و MindLLM با این ویژگی فعالیت مغز را تجزیه و تحلیل می کند.
یک مکانیسم ویژه پردازش سیگنال به مدل کمک می کند تا معنای اطلاعات و روش راهنمایی مغز (BIT) را درک کند که توانایی رمزگشایی داده های قطعی آن را بهبود می بخشد. این امر به MindLLM اجازه می دهد تا کارهای پیچیده ای را انجام دهد ، مانند ایجاد توضیحات سیگنال های مغز ، پاسخ برای سؤالات و استدلال های معقول.
در تست ها ، مدل نشان می دهد که سازگاری برای کاربران جدید 16.4 ٪ بهتر است و 25 ٪ بهتر است در مقایسه با راه حل های قبلی با کارهای جدید برخورد کند. Mindllm همچنین ارتباط بین فعالیت مناطق خاص مغز و عملکردهای شناختی مانند آگاهی و تفکر را نشان داد.