7月9日，在2021世界人工智能大会（WAIC2021）上，中国科学院自动化研究所所长徐波发布了自动化所研发的跨模态通用人工智能平台——“紫东太初”。基于“紫东太初”平台打造的虚拟人“小初”在大会现场赚足了眼球。它不仅能读懂图片、看懂视频、中文续写、双语翻译，而且能吟诗作赋，生动证明了通过图片、文字、语音三种模态的关联与协同，可以有效地提升机器的理解和生成能力，让AI接近人类想象力。
“紫东太初”平台是跨模态通用人工智能平台，以多模态大模型为核心，基于全栈国产化基础软硬件平台，可支撑全场景AI应用。“所谓跨模态是指它可以理解语音、文字和图片等多种模态信息；所谓全栈国产化是指这个平台的底层算力、模型、框架等都是自主研发的。”徐波解释道。
多种模态预训练模型被广泛认为是从限定领域的弱人工智能迈向通用人工智能路径的探索。依托面向超大规模的高效分布式训练框架，自动化所构建了具有业界领先性能的中文预训练模型、语音预训练模型、视觉预训练模型，并开拓性地通过跨模态语义关联实现了视觉、文本、语音三种模态统一表示，构建了三模态预训练大模型，赋予跨模态通用人工智能平台多种核心能力。
徐波介绍，“紫东太初”兼具跨模态理解和生成能力。与单模态和图片、文字两种模态相比，“紫东太初”采用一个大模型就可以灵活支撑图片、文字以及语音的全场景AI应用，具有了在无监督情况下多任务联合学习、并快速迁移到不同领域数据的强大能力。
“引入语音模态后的多模态预训练模型，可实现共性图片、语音和文字的空间表征和利用，并突破性地直接实现三模态的统一表示。”徐波说，特别值得强调的是，该平台首次让“以图生音”和“以音生图”成为现实，对更广泛、更多样的下游任务提供模型基础支撑，让AI能够在视频配音、语音播报、标题摘要、海报创作等更多场景实现应用。
同时，研发团队还提出了弱关联三模态数据的语义统一表达，可同时支持三种或任两种模态弱关联数据进行预训练，有效降低了多模态数据收集与清洗成本。
“‘紫东太初’跨模态通用人工智能平台包括三大关键技术和六大核心能力。”徐波。
