V9产品挖掘篇 -- 机器学习，预测未来

【天极网IT新闻频道】在刚刚过去的Smartbi V9新品发布会上，多位嘉宾为我们带来的精彩演讲在现场引起了热烈反响，小麦从本周开始选取一些整理成文，与未能到场的麦粉们一起分享。现在分享的是Smartbi资深顾问杜健航所作《V9产品挖掘篇 -- 机器学习，预测未来》的演讲。

如刚才我们的CEO所说，目前智能BI的潮流是不可逆转的，我们公司一直是站在潮头。去年我在广州塔那边跟大家分享了智能助手小麦，那是代表了我们在智能BI自然语言分析这一方向的努力和成果。今天，我想介绍的是我们的另外一个方向：数据挖掘。这个词有点偏技术，因此，我在开篇准备了两个故事，这也是我们最近做的两个项目，将有助于大家对“数据挖掘”的了解。

　【故事】

　　一、银行客户流失预警

银行面临同质化竞争的市场环境，存款的利息都差不多，客户忠诚度也不会很高，现在去拉一个新客户的成本是远远高于维护老客户的成本。因此，很多银行都对防止客户流失很重视。这家银行当时找到我们说，他们有一些历史数据，希望我们能从中预测出客户流失的概率。这些历史数据有客户的固有属性，如年龄、性别等，有行为属性，如银行卡收支情况、银行APP使用情况，还有其它相关的属性。接到这个需求以后，我们把工程师塞进了甲方的小黑屋，一周后他们提交了一个分析模型，这个模型用甲方提供的1000份历史数据测试，准确率达到 86%。然后基于这个模型，为银行的客户建立了标签，分为：流失客户、动摇客户、忠诚客户3类。根据这3类标签，银行可以采取不同的措施。最后银行针对“动摇客户”进行二次细分，然后进行针对性关怀和奖励，成功挽留了 50%以上的客户，大大节省了投入成本。

　二、违章建筑识别

第二个故事与城市管理有关。大家知道在城市管理中，有一个重要的工作内容是违章建筑处理。违建处理首先要去调查与识别哪个是违建，这是一件工作量大，周期长，且有危险性的工作。当前违章的识别是被动式的，靠举报然后人工去查证，我们客户想寻求用技术手段来提高效率。于是我们又把工程师塞进了小黑屋，这次他们一个月后才走出来，因为这次的难度比上一个需求高了不少。这个模型对图片的建筑识别率达到了 90%以上，同时该模型还能对建筑范围进行标定。这里是一个中间结果图片，那些被虚线框起来的就是模型所识别的一个个建筑物，深红色部分就是一个可能违章的建筑，疑似违法扩建。可以看到我们实现了客户的需求，客户因此大大节省了人力，提升了处理速度。原来三四十人的巡查队，变为了五六人的无人机操作与数据处理人员。从这个故事可以表明我们具有应用高级算法定制客户专属的图像识别能力，也可以应用到其它场景如公众场所人流预警，商场货架补货提醒。

三、全新挖掘模块

我刚才提到工程师为客户需求建立的各种分析模型，就是基于我们的Smartbi V9全新的数据挖掘模块Smartbi Mining。这也是今天我要介绍的主要内容。在过去的十多年里，Smartbi的产品团队在传统BI、自助BI领域，将强大功能与简捷易用结合在一起带给我们的客户。今天，我们希望在智能BI、数据挖掘领域能给大家带来同样的感受。

四、Smartbi Mining的优点

Smartbi Mining操作起来非常简单，建模、训练、部署等都是在一个界面完成。业务人员可以参与，整个过程很直观。里面有很多内置的模型算法，模型参数也是默认调整到最优状态，大大降低了使用门槛。而且，系统随时可以扩展，处理海量数据也不会出现问题。

【功能简介】

　　一、数据源与数据处理

Smartbi Mining可以轻松接入各种大数据场景下的数据源，如Hadoop、Spark，也包括阿里云、华为的数据源，传统的Smartbi数据源也可以无缝集成。也就是说，无论是结构化数据，还是非结构化数据，我们都可以拿来进行挖掘。在数据处理方面，无论是常规的要求，还是高级的要求，如One-Hot编码、特征离散等都能满足。

　二、可视化挖掘

如果大家有一些挖掘项目经验的话，就会知道经历是比较痛苦的。基本上是纯技术人员的工作，就是敲代码，业务人员是很难参与的，只能最后拿一个结果。这种做法要么实施周期很长，要么就是得出来的结果难以理解，要么就是完全订制调整不了，这些问题现在都能解决。Smartbi Mining是完全通过拖拉拽建模，整个过程、结果都可以看得到，业务人员是可以参与的。

三、内置大量经典算法

Smartbi Mining包含五大类算法，分别是分类算法、回归算法、聚类算法、文本分析和深度学习。更重要的是，这些组件算法是可扩充的，客户可以根据应用场景去订制其它的算法。

　四、算法与模型

市面上很多挖掘产品并不能支持企业级、大团队开发，要支持企业级挖掘应该有什么能力？我认为需要具备3点。第一，我们能将模型进行单独的保存与使用，这样就能使模型训练调优与模型使用分离，便于大型项目开展;第二，在企业级开发会尝试多种模型，甚至是联合使用模型，能使多个模型一起工作;第三，你所做的所有工作都是能一键导入、导出，环境迁移十分简便。Smartbi Mining具备这些特性，所以才能说是支持企业级挖掘。

五、服务发布

在挖掘项目中，将模型部署生产是最后一公里，这是一个繁琐的过程，但在Smartbi Mining中已经成为过去。用户可以一键完成部署，将训练好的模型部署成为Web服务，然后直接通过调用该API向其发送数据，获取预测结果。Smarbi Mining还能对所有部署的服务进行统一管理，直接通过界面控制服务的启停。也支持修改服务的配置信息，例如服务别名、服务描述，对于管理员十分的简便。

六、小结

从我上面对挖掘功能的介绍中，大家了解到Smartbi这次发布的是一个一体化的数据挖掘模块，提供从数据处理、建模到发布投产、运维管理的全流程支持，一个界面完成。同时它是一个全能型模块，能满足各方面人群的使用需求，无论你是数据挖掘专家，还是有一定经验的技术人员，或者是没有任何经验的业务用户，相信都可以轻松使用，并从中受益。

【挖掘实践】

产品这么强大又易用，我估计台下已经有客户在考虑实践挖掘的项目了，下面我简单介绍一下一个挖掘项目是如何落地的。

一、挖掘实施流程

通常来说是挖掘项目都能划分为 4个步骤。首先是确定商业目标，这个目标同时要具备业务定义与技术定义，例如我们前面提到的预测客户的流失概率，就是一个明确的目标。第二步是进行数据的准备与模型建立。这两者其实是统一的，使用什么算法建立模型其实与具备什么数据密切相关。这里面会进行不断的实验与调整。接下来，模型相对稳定后，就需要用不同的评估方法进行模型的评估与参数调优。在达到一定的准确率后，模型就能进行部署，如前面所述这个在我们产品里面就很简便了。而部署并不是终结，挖掘项目通常都需要迭代。如调整目标、补充数据、优化模型性能等，这也是我们很多项目都是多期的。

　二、挖掘应用领域

通过前面内容，大家应该对我们挖掘功能及其具体应用有一定的了解。除了前面提到的流失预警、图像识别外，Smartbi Mining还能应用到价格预测、异常行为侦测、网络舆情分析等等诸多方面，应用范围是十分广泛的。

【我们的优势】

　　一、挖掘与BI紧密相连

对比其它友商，Smartbi Mining与BI是紧密相连的。使用BI的数据源、数据集，已有项目资源能充分利用。结果利用BI 的成熟展现技术，在数据观察、结果输出时，展现的效果更加多样。反过来，BI的功能也被增强了，挖掘的高级数据处理功能可以被BI 使用。原来BI都是处理结构化的数据，现在文本、图片、后续的音视频非结构化数据都能处理，极大增强BI的应用范围。并且在BI的数据分析界面直接提供预测入口，大大降低了挖掘的使用门槛。

二、团队实力

要保证挖掘项目成功，除了有成熟、易用的产品，更重要是要有专业的咨询与实践团队，Smartbi就有这样的团队。我们最近参加了两个比赛，一个是全球数据资源开发者大赛，这是一个中国互联网协会举办的比赛，我们参与了中国移动专题，取得了第2名的好成绩。另一个是中国载人航天工程办公室主办的天宫数据利用青年创新大赛，这个比赛就更为激烈了，全国的大型公司，各个高校都有参与，我们也闯进前10，最终排名第6。

三、应用成熟

Smartbi Mining虽然今天才发布，但其实已经开发与应用有一段时间了。我们不少的客户已经成功实践，为他们带来实实在在的价值。其中就有稍后会分享的招商信诺，他们已经使用了一段时间了，据反馈效果还不错，我觉得大家可以放心使用。

在这个大数据的时代，每个企业都希望从数据里面获得价值，我们推出Smartbi Mining就是希望帮助大家更好、更快地做这个事情。如果说从BI 里面我们获得的是金沙，那么从Mining里面，我们获得的将是金块。