[读懂科学]AI“窃听”人脑信号演奏音乐

Published 20 Aug.2023 09:48(KST)

继视觉之后听觉也首次被再现

人工智能（AI）正在加速推进用机器读取人类脑电波的时代。近期，科学家仅通过脑电波的测量和分析，就成功完整再现受试者所听到的歌曲。

2022年6月13日，在祥明大学首尔校区未来百年馆，学生们正在分析佩戴脑电波测量仪的学生的脑电波。资料照片。与报道内容无关。文湖南记者提供

美国加利福尼亚大学伯克利分校研究团队于本月14日（当地时间）在学术期刊《PLOS Biology》上发表了包含上述实验结果的论文。

研究团队以29名在大脑表面植入邮票大小脑电测量装置的癫痫患者为对象开展研究。他们让受试者聆听著名摇滚乐队Pink Floyd于1979年发表的歌曲《墙上的另一块砖，第一部分》（Another Brick in the Wall, Part 1）。同时，测量患者大脑中负责处理歌词、节奏、和声、音高等音乐要素的脑区的脑电变化。此后，研究团队借助AI分析这些脑电变化，并将其“翻译”为实际音乐并成功重构。今后若该技术进一步发展，因事故或疾病而失语的人，有望通过脑电波分析与重构，不仅能够“说话”，还可以“唱歌”。

数十年来，脑科学家一直尝试通过脑电波变化来感知并重构人们所见、所闻、所想的内容，这被称为“大脑窃听”。本次研究团队的成果，被认为是首次通过植入式脑电测量装置，成功重构参与者听觉相关脑区活动的案例。此前，科研人员曾成功测量从事视觉活动（如观看人脸、风景画、动画视频）时的大脑脑电波，并用AI进行重构，但对听觉进行重构则尚属首次。

研究团队为何偏偏选择Pink Floyd及这首歌？他们解释称，这是因为这首歌由复杂的和弦、多样的乐器和节奏构成。研究团队利用AI模型分析这首歌的声学特征、节奏、音色与音高变化在大脑各个区域引发的电活动变化。随后又引入另一种AI模型，对分析结果进行重构，推断参与者当时听到的声音。结果相当出色。研究团队表示：“（重构出的）旋律几乎没有受损，尽管歌词略有失真，但仍足以辨认出听到的内容。”