【摘要】 公文在政府和企业机构中扮演着重要角色，其撰写严格遵循特定的格式和规范，且内容必须准确、清晰、逻辑严谨。然而，传统的公文撰写过程耗时烦琐，需要经验丰富的写作人员才能胜任。目前，公文写作数据集稀缺，且尚无大模型公文生成的研究。因此，该文介绍了一种基于大模型的指令微调方法，旨在提高公文写作质量和效率。具体来说，我们基于少量真实公文样本，结合公文专家的指导，设计了提示模板，引导ChatGPT生成了625对样本实例，并将这些实例构建成面向公文写作任务的指令数据集，解决了当前公文领域缺乏写作任务指令数据集的问题。随后，我们使用这一指令数据集对大模型进行了参数高效微调，并为公文写作评测设计了评估标准。实验结果表明，对四个基座模型进行微调，性能得到显著提升，在百分制人工评估标准下，基座模型Qwen-1.8B-Chat经LoRA微调后平均得分从74.32分提升到84.64分，证明了大模型经过领域数据集指令微调后能有效提高公文写作质量。更多还原

【Abstract】 Official documents follow specific formats and norms, and the contents must be accurate, clear, and logical. This paper introduced an instruction tuning method for large language models for qualified and efficient composition of official document. Specifically, we guide ChatGPT to generate 625 pairs of sample instances with prompt templates derived from a small number of official document samples and the guidance of experts. These instances are then converted into the instruction dataset for parameter-efficient tuning of the large language model. The experimental results indicate that positive results are observed for four base models, with the average score of the base model Qwen-1.8B-Chat increasing from 74.32 to 84.64 according human evaluation.更多还原