互联网和金融 在数据挖掘上究竟存在什么区别？

在银行做了两年的数据分析和挖掘工作，较少接触互联网的应用场景，因此，一直都在思考一个问题，“互联网和金融，在数据挖掘上，究竟存在什么样的区别”。在对这个问题的摸索和理解过程中，发现数据挖掘本身包含很多层次。并且模型本身也是存在传统和时髦之分的。本文就想聊聊这些话题。

一、数据挖掘的层次

一直想整理下对数据挖掘不同层次的理解，这也是这两年多的时间里面，和很多金融领域、互联网做数据相关工作的小伙伴，聊天交流的一些整理和归纳。大概可以分为四类。

（一）纯粹的数据加工

侧重于变量加工和预处理，从源系统或数据仓库，对相关数据进行提取、加工、衍生处理，生成各种业务表。然后，以客户号为主键，把这些业务表整合汇总，最终可以拉出一张大宽表，这张宽表就可以称之为“客户画像”。即，有关客户的很多变量和特征的集合。

在这个阶段，主要的数据加工工具为SQL和SAS base。

（二）傻瓜式的挖掘工具

较为典型的就是SAS EM和clementine，里面嵌入很多较为传统成熟的算法、模块和节点（例如逻辑回归、决策树、SVM、神经网络、KNN、聚类等）。通过鼠标的托拉拽，流程式的节点，基本上就可以实现你挖掘数据的需求。

傻瓜式操作的优点就是使得数据挖掘，入手非常快，较为简单。但是，也存在一些缺陷，即，使得这个挖掘过程变得有点单调和无趣。没办法批量运算模型，也没办法开发一些个性化的算法和应用。用的比较熟练，并且想要进一步提升的时候，建议把这两者抛弃。

（三）较为自由的挖掘工具

较为典型的就是R语言和Python。这两个挖掘工具是开源的，前者是统计学家开发的，后者是计算机学家开发的。

一方面，可以有很多成熟的、前沿的算法包调用，另外一方面，还可以根据自己的需求，对既有的算法包进行修改调整，适应自己的分析需求，较为灵活。此外，Python在文本、非结构化数据、社会网络方面的处理，功能比较强大。

（四）算法拆解和自行开发

一般会利用python、c、c++，自己重新编写算法代码。例如，通过自己的代码实现逻辑回归运算过程。甚至，根据自己的业务需求和数据特点，更改其中一些假定和条件，以便提高模型运算的拟合效果。尤其，在生产系统上，通过C编写的代码，运行速度比较快，较易部署，能够满足实时的运算需求。

一般来说，从互联网的招聘和对技能的需求来说，一般JD里面要求了前三种，这样的职位会被称为“建模分析师”。但是如果增加上了最后一条，这样的职位或许就改称为“算法工程师”。