TF136回顾 大语言模型,如何赋能测试?
2024年6月27日,CCF TF迎来了第136期活动,主题为“大语言模型,如何赋能测试?”。本次活动由CCF TF质量工程SIG策划呈现,邀请到了来自华为、百度、字节等业界领军企业的资深技术专家,带来188体育投注:大语言模型在测试领域应用的深度见解和最新实践。分享的内容精彩纷呈、讨论热烈、听众反馈积极。活动以线上直播的形式进行,通过腾讯会议平台和CCF视频号“中国计算机学会”同步直播,吸引了众多专业人士的参与。本文将回顾本次活动的精彩内容和深刻见解。
CCF TF
CCF TF活动相关专家报告均收录在CCF188体育投注【TF专辑】,欢迎长按识别,回看精彩分享。本期活动报告也将于近日收录,欢迎回顾!
在大语言模型时代,测试领域相较于软件行业其他领域展现出了更多的先天优势。测试行业拥有丰富的数字化资产,包括测试策略、测试方案、测试用例、自动化脚本、海量的问题单以及执行记录等。这些资产之间存在天然的对应关系,例如测试自动化脚本中,很容易获取到测试步骤(文本描述)与测试代码的关联关系。所有这些,为LLM对测试的赋能提供了丰富的原始语料。
此外,LLM的出现显著降低了AI在测试领域的应用门槛,为技术升级带来了宝贵的机遇。尽管AI赋能测试已发展多年,但AI专家与业务专家之间的知识壁垒一直是一大挑战。LLM的引入简化了这一过程,在许多场景下,无需复杂的训练,通过简单的提示(prompt)即可实现初步的领域应用,例如智能生成测试数据,对测试点的提示与补充等。
实践中我们也发现,虽然有众多有利条件,但LLM在测试业务领域要想产生系统性的业务价值,也并非易事。一旦深入到特定业务领域,就会遇到:SFT的高成本与幻觉、RAG过程中面向真实意图的高质量检索、数据语料的质量,以及管理者和用户的期望和LLM能力之间的矛盾等诸多挑战。
《大模型辅助测试自动化代码生成实践经验与教训》
来自华为数据存储首席测试专家高广达分享的主题是《大模型辅助测试自动化代码生成实践经验与教训》,首先介绍了LLM辅助测试自动化代码生成作为LLM落地首选突破点的考虑初衷和业务价值。接着介绍了整个项目的探索过程。第一阶段-老特性自动化防护网补齐。通过对已有测试自动化脚本的清洗,获得测试步骤-测试代码pair对,以此为语料,通过SFT实现基于内部代码大模型的调优。在这个过程中,遇到了语料质量标准和检查,对业务上下文的区分等众多问题。通过得到的测试代码大模型,对于同类特性的测试自动化代码生成,可以达到