大白话讲解数据挖掘【案例】潜客模型的数据框架
本篇文章作为回答很多朋友问我的一个问题:到底数据挖掘是什么?有什么作用?
我把数据挖掘比喻成炒菜烧饭。下面用了一个潜客模型的框架作为案例进行讲解。
(潜客模型数据挖掘框架)
因为我在互联网公司,所以流量是整个流程图的开始。
第一步:数据准备(去菜场买食材,到家清洗食材)
第二步:做模型(将食材加工成各类食物,咸味、甜味、淡味)
第三步:数据CRM系统营销管理(把不同的食物分给不同的人吃)
第四步:做评估(反馈不同人群对菜的评价,反馈给厨师,厨师根据反馈再做改进)
可以看到数据挖掘非常类似厨师的工作。我们来细细得看一下每一步大概要考虑什么问题?如何去解决吧?
第一步:数据准备
问题:
1、怎么收集用户信息? (去哪里买食材)
收集用户信息可以是非常多的形式,但我们不可能无限制得到用户信息,那是非常浪费资源并且也会让用户认为我们不友好。(就比如你在上海不会飞去北京买烤鸭吧?)所以使用哪些用户信息这个问题就非常关键。
2、应该使用哪些用户信息? (买哪些食材)
通常我们会把所有的一些字段都罗列出来(附近菜场能买到的食材全部记录下来),然后用于模型软件和建模专家去评估哪些字段是有用的(去看哪些能做出菜品的),哪些字段可能对于模型没有任何作用。目前较为流行的就是用户的交互信息,因为这些信息最不易作假,来源也最方便。
第二步:做模型
问题:如何建模?(如何烧菜)
建模其实就是将你手中的信息量折合成你需要的信息。(把几个食材加工后变成红烧肉)。比如要预测这个用户是否要流失,你可以用最近用户的交易习惯是否有巨大的改变,这时我们做模型可能只需要几个关键变量(食材)。从原来的几百个关键变量到最后的几个关键变量,然后把他们组合起来这一个过程就是建模的过程。(选食材到做出美味的美食的过程)
做模型其实是一件非常耗费时间的事情,因为在没有专业化软件的时候,大家做模型就是靠业务经验及一遍遍的数据组合去完成的。而现在专业化的工具如R,SAS,SPSS等其实是提高了建模师的工作效率,让他们繁琐且重复化的工作由计算机完成。当然在你使用这些软件的同时,你必须了解每一种数学模型背后的原理,这样你才明白什么时候用什么模型。(数学模型就好像油盐酱醋,要知道什么时候用什么,最终才能做出美味)
做完模型后,有时你需要把你的模型解释给业务部门听,然后告诉他们如何使用你的模型,因为帮助解决问题才是模型的最终目标。
第三步:数据CRM系统营销管理
当我们把每个顾客的菜做好了,我们需要对不同的顾客满足不同的需求,这时就用到了CRM系统,如下图所示,可以根据模型进行营销,检测最后是否解决了业务问题。
CRM具有以下优势:
1、在营销之前你就可以预算营销成本。
2、针对不同用户使用不同的营销策略(常说的精确化营销)
3、易于检测营销和模型结果
第四步:结果反馈及模型优化
重要结果反馈KPI:(只例举部分)
正向反馈:1、用户再次访问客户端或网站的概率
2、用户上线下单购买产品概率
反向反馈:1、退订率(E-mail APP)
2、投诉率
3、未响应度(未采取任何动作)
根据不同类型的人群进行的反馈结果再次检验模型(顾客的口味评价),查看模型的准确度是否在可控范围内。很多模型随着时间推移都会变得不准确,需要调整一定的阀值。比如银行的风控模型,通常都会半年到1年调整一次(厨师根据顾客喜好调整口味)。其中的原因可能是经济条件增长原因,也可以能是银行政策原因导致。
总结项目关键点:
1、 收集用户的信息质量(业务及BI部门合作)
2、 算法优化处理(建模工程师)
3、 系统实施跟进(BI及IT开发部门合作)
这些因素决定模型应用的成败。
PS:数据挖掘有很多有意思的应用,典型的亚马逊推荐算法;啤酒与尿布;预测;语音识别的原理中也有概率数据挖掘的影子(推荐阅读《数学之美》)。
数据分析咨询请扫描二维码