9/10/2025
阅读约需
10
分钟
AI+研发效能
AI+研发效能

AI 在研发效能中的实际应用效果|《DevData 2025 研发效能基准报告》

本专题将通过主观数据与客观数据相结合的方式进行分析,以全面呈现 LLM 在行业中的应用现状与价值。

点击下载报告:https://www.merico.cn/benchmark-report-2025

软件研发行业对 LLM(大语言模型)的应用探索日益深入,本专题将通过主观数据(企业反馈、预期等)与客观数据(代码生产率、质量等实际度量指标)相结合的方式进行分析,以全面呈现 LLM 在行业中的应用现状与价值。

  • 从企业应用 LLM 的落地时长来看,多数企业已开启相关探索;
  • 在价值期待与效果评估方面,企业期望借助 LLM 实现降本增效,但效果评估仍处于探索阶段;
  • 在代码生产率和质量上,LLM 展现出积极作用,但仍存在提升空间。

企业 LLM 模型的落地应用时长

80%的受访企业已经开始引入 LLM 大语言模型辅助研发,36%的企业已经应用超过一年。

LLM 模型应用的价值期待和效果评估

大部分受访企业都期望 LLM 大语言模型能够帮助研发降本增效,其中 85%的企业希望能提升编程效率。引入 AI 之后的提效成果评估目前在业内仍处于探索阶段,26%的企业直接比较交付的结果指标,24%的企业关注用户数、采纳率等间接指标,而另外的半数企业尚未找到合适的评估方法。

LLM 模型在辅助编程领域的应用

尽管大部分企业都希望 LLM 大语言模型能提升编程效率,但他们对于 AI 生成代码的态度仍然相对谨慎。仅 25%的企业目前将 AI 辅助生成的代码视作与人类编写的代码一样。半数企业表示还未采取措施,但是以后会采取,也有部分企业已经采取了相应的措施。

目前企业没有更大范围落地 AI 辅助编程的最主要原因仍然是模型能力有限,其次是成本高昂以及企业内部运营和培训不足。

应用 LLM 模型的企业代码生产率更高

在代码生产率方面,主观数据中部分企业反映应用 LLM 后效率有中高幅度提升,客观数据显示已落地应用 LLM 的企业代码生产率中位值较未应用企业有明显增幅,二者相互呼应,凸显 LLM 对代码产出效率提升的实际价值。后续可通过优化应用场景、深化流程融合(如从代码生产延伸到需求分析、测试等环节 ),推动交付效率向更高层级突破。

LLM 应用对软件交付效率提升的效果分布(主观数据)

企业提供的数据分布分析发现,34% 企业效率提升在 20% 以下,31% 企业 “提效不明显”,说明 LLM 对部分企业的效率拉动尚未充分体现;25% 企业效率提升 20-39%,5% 提升 40-59%,4% 提升 80% 以上,反映 LLM 在部分场景中能实现中高幅度提效。

LLM 对软件交付效率的提升存在 “分层效应” ,多数企业暂未实现显著突破(近 65% 企业提效≤20% 或不明显 ),但少数企业已通过 LLM 获得中高提效(约 34% 企业提效≥20% ),需进一步探究提效差异的成因(如应用场景、企业数字化基础等 )。

LLM 落地对代码生产率的直接影响(客观数据)

将企业应用 LLM 的情况分为两类:尚未应用 LLM 与已落地应用 LLM 。数据显示,尚未应用 LLM 的代码生产率中位值为 3552 ,已落地应用 LLM 的代码生产率中位值达 4173,代码生产率增幅约 17% 。这表明,LLM 应用对代码生产率有显著提升作用,让企业在代码产出效率上更具优势。

LLM 凭借强大的代码生成、理解与智能辅助能力,能在开发中自动生成代码框架、提供示例与解决方案,助力开发人员快速完成重复性、基础性编码工作,减少编码耗时;同时,可智能审查代码,提示潜在错误与优化建议,兼顾代码质量与开发效率。

对企业研发管理的启示

对于期望提升代码生产率的企业,LLM 是值得引入的技术工具:

  • 尚未应用 LLM 的企业:可积极探索其在代码编写、审查、技术文档生成等场景的应用可能。通过培训开发人员掌握工具用法,让 LLM 赋能编码效率与质量,推动团队产出升级。
  • 已应用 LLM 的企业:持续优化使用方式,紧跟 LLM 技术发展(如模型迭代、功能扩展 ),深挖工具潜力(如结合业务场景定制 prompts 、拓展自动化应用环节 ),巩固并扩大代码生产率优势,保持研发效能领先。

LLM 应用对代码质量有积极影响

在代码质量方面,主观数据(小节 3.5.1)里有部分企业表示应用 LLM 后质量得到改善,客观数据(小节 3.5.2)中应用 LLM 企业的单元测试覆盖度和代码不重复度均高于未应用企业,主客观数据相互印证,表明 LLM 在提升代码质量上确有成效。后续可通过深化场景落地(如需求评审、缺陷预测)、配套流程优化,推动 “过程质量” 向 “交付质量” 转化,缩小企业间质量提升差距。

LLM 对软件交付质量提升的效果分布(主观数据)

企业提供的数据分布分析发现,40% 企业反馈 “质量提升不明显”,33% 企业质量提升在 20% 以下;仅 13% 企业实现 20-39% 提升,6% 实现 40-59% 提升,4% 实现 60-79% 及 80% 以上提升。

LLM 对软件交付质量的提升存在 “普适性挑战” —— 超 70% 企业质量提升幅度≤20% 或不明显,反映 LLM 在质量侧的价值释放需突破场景适配、流程融合等障碍;但仍有 27% 企业实现中高幅度提升,验证 LLM 具备优化质量的潜力。

LLM 落地对代码质量左移的影响(客观数据)

在单元测试覆盖度方面,尚未应用 LLM 的企业为 10%,而已应用 LLM 的企业达到 15% 。这表明 LLM 的应用有助于提高单元测试覆盖度。LLM 可凭借其强大的代码理解和分析能力,辅助开发人员生成测试用例,精准定位代码中的潜在问题区域,从而更全面地覆盖测试范围,提升软件质量。

从代码不重复度来看,尚未应用 LLM 的企业为 78%,已应用 LLM 的企业为 80% 。虽然提升幅度相对较小,但也说明 LLM 在促进代码复用、减少代码重复方面有一定作用。LLM 能提供代码示例和最佳实践参考,帮助开发人员识别可复用代码模块,遵循 “DRY(Don't repeat yourself )” 原则编写代码,优化代码结构。

对企业研发管理的启示

对于追求高质量代码与高效流程的企业,LLM 具备应用价值:

  • 尚未应用 LLM 的企业:可引入相关工具 / 服务,借助其测试用例生成、代码优化能力,提升单元测试覆盖度与代码不重复度,增强软件稳定性与可维护性。
  • 已应用 LLM 的企业:持续挖掘潜力,结合团队需求优化使用方式(如定制代码复用推荐规则、深化智能测试场景 ),探索更多应用场景(如代码重构辅助、架构设计建议 ),巩固代码质量优势。

点击下载报告:https://www.merico.cn/benchmark-report-2025

与同行交流效能提升经验
扫码加入研发效能交流群
与同行交流效能提升经验
扫码加入研发效能交流群
立即预约
在线客服
在线客服
扫码添加咨询微信
立即试用
用数据驱动
研发质效提升!
预约思码逸效能专家,一起探讨如何提升研发效能!
立即试用