朱旻昊

南京银行数字银行管理部副总经理

各位领导和专家，大家上午好！我分享一下南京银行的AI工作实践。我觉得今天研讨会的主题很有意义，可信智能体偏技术落地，我分享的内容就围绕可信智能体展开。

我的观点与之前各位专家的观点一样，我认为AI在金融领域的应用有两个趋势：一是智能体嵌入业务流程是大势所趋，场景越来越多，南京银行的智能体会涉及到业务流程，并且对智能体的响应时间有一定要求。二是与国有行、股份制行相比，中小银行的资源、技术和能力储备都是有差距的，中小银行如何做可信智能体的开发非常值得关注。

第一，对于可信智能体的理解。

可信智能体不是一个单一的事情，在算力、数据、算法、应用等方面都要做一些事情，我认为可以归纳为六个方面。因为讲概念可能会比较枯燥，我就以理财经理联络报告这个典型场景为例，理财经理每天要打二三十个电话，全行有1200个理财经理，这个场景就是想能不能通过AI帮理财经理做电话录音总结，帮理财经理每天节省1.5小时的时间，这个场景上线后效果非常好，我讲一下这六个方面分别是怎么做的。

一是算力可信。我们行的策略是坚定走国产化算力的道路，主要是华为910B和阿里的PPU，目前90%的算力实现国产化，只有16张是两年前采购的英伟达的卡，明年我们会实现算力国产化全替代，每家行的情况可能都差不多。

二是数据可信。包括两个方面：首先是高质量数据集，现在高质量数据集提得很多，随着大模型技术的发展，我们认为高质量数据集是必不可少的。我们把高质量数据集分成训练集和评测集两块，我们行现在有十几个场景是经过模型后训练的，训练集的构建非常重要。我们在这个场景中用大模型的方式把生产上的10万份联络报告先做了一轮筛选，把基础的训练集筛选出来，因为训练集可能有些分布不均匀的情况，我们又找了15名理财经理做了28000条数据的标注，形成最终的高质量训练集。同时我们构建了800条评测案例，大模型的效果其实是通过这些评测做相应驱动的，这是我们高质量数据集的构建情况。

其次是知识工程，刚才各位专家也提到过，我们认为知识非常重要，如果从评测效果来讲，从90%再往上提升会发现深水区一定要有知识构建，我们行也是这么去做的。知识分成显性和隐性两大块，显性知识比较好理解，就是产品手册、流程文档、营销案例库等都可以作为显性知识，隐性的知识其实是在资深业务人员脑子里的那些东西，如何能把它抠出来，沉淀到智能体里面，让智能体能够学会这些知识，使得整个智能体效果更好。

我们目前正在探索相应的知识，包括刚才高峰首席讲的本体论，我们下半年也在做本体的探索，我认为本体其实是知识的一种形式，就是本体的知识库，目前我们在两个场景做试点：一是信贷审批的辅助，我们认为本体可以基于某一个领域或者某一个场景去构建。二是管理会计分析，因为董事长经常问我们一些财务指标变动的根本原因，我们就尝试基于管理会计知识去构建本体。

三是模型可信。除了开源大模型外，我们对特定场景做了模型的后训练和微调，很多场景嵌入业务流程后，对模型的响应时效是有要求的，有些要做到秒级响应。

我们总结了四点经验：一是大小模型结合，都用大模型的效果不一定好，有些小模型耗的资源少，效果也非常不错，我们会用大小模型结合的方式。二是模型后训练，我们尝试基于阿里千问3.5的35B做一些全参微调。三是模型准入安全评测，因为“8号文”有相应要求，但我们行的模型目前没有涉及外部客户，所以这块还没有落地，我们与蚂蚁、字节在做POC，后续可能会采购蚂蚁的产品，蚂蚁的平台效果比较好。四是模型的效果评测和运营，模型效果是不断迭代的过程，需要持续跟踪和评测。

四是应用可信。包括两个方面：首先是研发工艺，我们有一套全栈开发工艺和开发工具，我认为这是非常关键的，智能体的开发如果要从单个开发、手动开发转向批量生产，工艺体系和工具体系是必不可少的。我们的体系涵盖了设计、开发、评测、部署和观测的全流程，基于开源框架自研构建了一整套工艺体系。

其次是安全围栏，刚才有的专家也讲到过，我们认为安全围栏在应用层是特别必要的，所有智能体的事前、事中、事后都接入安全围栏，包括事前的权限管控，事中的涉政、涉恐、涉黄的合规检测，事后做到全链路审计，我们行构建了自己的安全围栏产品。

第二，我们的思考。

除了上述六个方面，我认为中小银行构建可信智能体还有四个能力是必不可少的。

一是专家经验。我认为解放思想是最难的，如何让业务人员把脑子里的东西贡献出来，陪我们一起迭代智能体？我认为这是目前较大的痛点和难点。因为专家知识、高质量数据集，包括评测集，其实都需要业务人员构建。在智能体的开发过程中，与传统软件开发不一样，我们认为是三分建设、七分运营，所有的运营其实也是要业务人员深度参与的，这是很重要的一个事情。在智能体的建设过程中，智能体开发不只是技术人员的事情，更需要业务人员的参与，而且是资深业务人员的参与，专家经验是智能体开发非常重要的一个环节，需要业务全程参与。

二是工程能力。因为我是做技术的，我始终坚信专业性是必不可少的，做智能体开发也是如此。我们行的观点是做智能体开发可以在部分功能上依托于厂商，但不能全部依赖厂商，通过全栈自研的工程化平台，我们打造了我们行的工程化能力，包括我们模型的后训练，这是非常重要的。

三是人才体系。对于中小行来讲这是一个痛点，我非常同意之前专家提到的观点，AI人才不只是技术人员，也包括业务人员。我们的AI实践有一条叫“文化先行”，在全行AI文化宣传上做了大量工作，让所有业务人员都知道什么是AI、能用AI、想用AI和敢用AI，我觉得这个文化是必不可少的，是推进全行智能体发展非常重要的一个环节，我们的培训不只是面向技术团队，也面向业务人员和分支行。

四是安全底座。我认为智能体的开发领域现在混合了很多的安全问题，不只是数据安全问题，还包括模型风险问题和舆情风险问题，比如智能体对外的一些不合适的回答会导致舆情风险问题等。在“8号文”上也是这么写的，智能体的安全不只是技术的事情，是需要全行统筹考虑的事情，一个安全合规的底座是一个风险底线，是同等重要的。

第三，我们的建议。

对于中小银行AI实施路径，我归纳为三条建议：

一是先对内后对外，先做好对内的应用开发，再考虑对外。

二是先辅助后替代，先辅助业务人员，有效果了再逐步实现一部分功能替代。

三是先低风险场景后高风险场景，我们对每个智能体都按风险等级做了分类，先实现一些业务风险比较低的场景，对于高风险的场景，比如嵌入交易流程，还是以辅助为主，逐步实施。

以上是我的发言，不当之处请各位领导专家批评指正。