什么是大数据分析及挖掘技术？在数据的时代，其影响力及作用有多大？举个例子，如今家喻户晓的美国知名视频媒体公司网飞（Netflix）也曾面临着发展困局，但是其凭借2013年的一部《纸牌屋》成功进军原创节目市场，这背后秘密武器就是大数据技术。
在大数据已得到广泛应用的背景下，大数据分析与挖掘技术作为大数据的核心技术，骑在大数据发展历程中的重要性不言而喻。本篇文章将继续围绕网飞和其作品《纸牌屋》的实例，从大数据分析及挖掘的定义、对象、流程及方法方面展开概述。
一、数据挖掘
数据挖掘(Data Mining)的定义是从大量的、不完全的、有噪声的、模糊的、随机的数据中提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。顾名思义就是在看似没用的海量数据中挖掘出对自己的业务有价值的数据并加以利用。
比如“傍晚小街路面上沁出微雨后的湿润，和煦的细风吹来，抬头看看天边的晚霞，这时你判断明天会有个好天气”；“走到水果摊旁，挑了个根蒂蜷缩、敲起来声音浊响的青绿西瓜，你认为这是一个好瓜”。由路面微湿、微风、晚霞等信息可以得出明天是个好天气。根蒂蜷缩、敲声浊响、色泽青绿推断出这是个好瓜。
显然我们可以根据经验来对未知的事物做出预测。同理，由机器来做类似的事情就是数据挖掘。
数据挖掘对象
回到网飞的例子，《纸牌屋》这部作品在播出之前就已胜券在握。它的成功得益于数据挖掘技术，当时网飞对3300万订阅用户的海量数据进行了积累和分析。本次数据挖掘的对象包括文本数据源、多媒体数据库、空间数据库、时态数据库等。
比方一位用户登录了他的网飞账号，网飞的后台技术将会把用户位置数据、设备数据悄悄地记录下来，并且还会记录用户收看过程中所做的收藏、转发等行为。甚至暂停、回放、快进、停止等动作都作为记录的行为，每天使用网飞的用户要产生高达3000多万个行为。网飞的订阅用户每天还会给出400万个评分、300万次搜索请求、询问剧集播放时间等。网飞借此做到最及时准确地掌握电影电视剧市场的热度动态，抓住了大数据的应用契机，享受到了数据挖掘的红利。
数据挖掘流程
数据挖掘的流程可以分为：
定义问题→选择数据→数据预处理→数据挖掘→结果分析
网飞利用数据挖掘技术计算出喜欢“BBC剧”“大卫·芬奇”和“凯文·史派西”的用户存在极大程度的交集。这一关键要素奠定了网飞后来的成功：网飞用1亿美元买下一部早于1990年就在BBC播出过的电视剧《纸牌屋》的版权，随后请来大卫·芬奇（David Fincher）担任导演和老戏骨凯文·史派西（Kevin Spacey）担当男主角。最终《纸牌屋》成为当时网飞有史以来观看量最高的剧集，在美国及40多个国家大热。
网飞的例子用事实告诉市场，大数据有着广阔的应用前景，是地道的生产力。
二、数据分析
数据分析是指用适当的统计分析方法对收集来的庞大数据进行分析，是一种为提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。与数据挖掘有一定的相似性，同样也是大数据技术中关键的一环。
数据分析方法
1.统计分析
在数据库字段项之间存在两种关系：函数和相关，对它们的分析可利用统计学原理对数据库中的信息进行分析，即统计学方法。可进行常用统计、回归分析、相关分析、差异分析等。
以1896年雅典奥运会到2016年里约奥运会的所有比赛运动员数据为例，从金牌运动员身高与体重的数据进行分析并展示图表。人的身高和体重是两种相关的数据，可用回归分析法来分析。
从金牌运动员身高体重关系的箱型图中不难看出身高和体重数据基本都在回归线上。
2.预测性分析
预测性分析是大数据分析最重要的应用领域之一，结合了多种高级分析功能的预测性分析包括：特别统计分析、预测建模、数据挖掘、文本分析、实体分析、优化、实时评分、机器学习等。
上图是金牌运动员身高体重关系的预测模型。线性回归要求因变量必须是连续性数据变量；逻辑回归要求因变量必须是分类变量，二分类或者多分类。例如，要分析性别、年龄、身高、饮食习惯对于体重的影响，如果这个体重是属于实际的重量，是连续性的数据变量，这时采用线性回归；如果将体重分类成低、中、高这三种类型作为因变量，则采用逻辑回归。
从庞大冗杂的数据中挖掘出其特点，可以帮助我们达到了解目前情况以及并制定下一步计划的目的，从猜测变成科学预测以进行更好的决策。数据分析可以分析用户的结构化和非结构化数据中的趋势、模式和关系，运用这些指标来洞察未来事件，并引导组织做出相应的行动。
以上就是我结合实际对数据挖掘与分析的理解，如果你有问题欢迎联系我讨论。希望深入了解数据挖掘与分析的小伙伴，我推荐你学习大数据分析挖掘与可视化最佳实践课程，可帮助学员切实掌握数据分析的实战技巧、数据挖掘理论及其核心技术等，帮助你成为数据分析领域的专家。
400-808-2006
扫码加老师微信
微信服务号