基于端云协同体系的预训练大模型及其服务化

【摘要】 传统云计算模式将所有数据集中，以中心化原则在云上训练大模型，通过云服务支撑端侧多样服务需求，这一模式存在网络时延大、隐私安全低和算力成本高等不足。在“泛在互联、移动优先、AI赋能”时代，需要机器学习支撑丰富多样端侧应用，因此建立端云协同计算范式，既提供云上服务和端侧推理能力，又推动云上模型和端侧模型的协同进化，从云计算和端智能向端云协同进化计算模式进行跨越，充分发挥云上、端侧和端云链中各类计算资源的最佳效果是当前的重大挑战。本文围绕云上预训练大模型、端云协同体系、基于端云协同体系的预训练大模型服务化与隐私保护，以及未来挑战进行了讨论。更多还原