节点文献
提升网络安全软件中预训练大模型推理速度的研究
【机构】 北京理工大学； 奇安信科技集团股份有限公司；
【摘要】 提出了一种高效的预训练模型推理方法,解决了网络安全软件中庞大参数量的模型在计算和存储资源约束下的推理缓慢或不可用的问题.方法通过检测环境内存带宽和选择最优算力计算部件,确定权重量化方案并进行推理,充分利用潜在的算力提高推理速度.2个典型任务上的实验证明该方法可行有效,解决了模型推理时的资源限制问题.
- 【会议录名称】 第38次全国计算机安全学术交流会论文集
- 【会议名称】第38次全国计算机安全学术交流会
- 【会议时间】2023-10-12
- 【会议地点】中国湖南长沙
- 【分类号】TP393.08
- 【主办单位】中国计算机学会