随着科技的进步♥︎,人类社会已经进入了大数据时代。在未来的几十年里🀄️,大数据都将会是一个重要的话题。大数据影响着每一个人,并会在可以预见的未来里持续地影响着🛅。大数据冲击着许多传统行业🦁,包括零售业、金融行业、医疗行业等🧞,同时,它也在彻底地改变着👂🏻、丰富着我们的生活。
4月16日晚,金银岛咨询公司首席数据官(CDO)、北航校友董明辉先生顺应当下技术发展🐞,结合自身创业及工作经验,为我们带来的一场别开生面的讲座:浅谈大数据的商业应用🤳。
讲座的开始,董先生为我们介绍了大数据分析的概念🆘:何为大数据🤾🏼♀️?首先,大数据即体量特别大,数据类别特别大的数据集,并且这样的数据集无法用传统数据库工具对其内容进行抓取、管理和处理👋🏽。其特点可概括为五个V:即数据量大(Volume)、速度快(Velocity)、类型多(Variety)🤸🏻♂️🧗🏿♀️、Value(价值)、真实性(Veracity)。大数据分析即在大量的数据的过程中寻找模式,相关性和其他有用的信息,帮助企业更好地适应变化🦌,并做出更明智的决策📰。
董先生通过生动的PPT为我们展示了大数据的分析流程--通过数据采集、提取清洁数据标注、整合聚集数据表达🎂、建立模型数据分析等步骤▪️,并通过Hadoop高可靠以及高扩展性分布式计算平台➾🍆、Storm开源分布式且容错的实时计算系统👨🏽🏭、RapidMiner数据挖掘解决方案等多种分析工具将数据加工成为有助于企业决策的结果。
那么大数据分析平台的系统结构是怎样的呢?董先生将其系统结构分为三个部分🕦,分别为存放原始结构🪃、非结构数据以及流数据的数据源层;进行数据挖掘及计算♻️、通过分布式计算框架及文件系统对数据进行加工的计算层;以及数据智能🦹🏼♀️、实时数据处理的分析层。
随后,董先生对大数据分析常采用的统计方法—模型评估法进行了深入分析🤚,通过模型评估法选择最容易获取的方法和模型,从而选择最优方案🤽🏽♂️,并遵循数据分析的三原则:理论和实践相结合🏃🏻、动态和静态相结合、定量和定性想结合。
通过董明辉先生的讲解我们认识到🫛,在日常生活中,大数据分析的商业应用无处不在:动态的行业市场信息服务、基于用户的商品推荐、市场细分及定制化服务、竞争对手分析、优化业务流程等等,这些应用在不知不觉中提高了我们的生活质量和工作效率。工作中,我们可以通过数据采集👩🏽✈️,形成大数据架构,并根据情况使用响应型分析♕、诊断型分析、战略型分析🛀🏻、预测型分析🧑🍼、全自动分析这五种大数据分析方法对数据进行加工从而取得有效数据。
讲座在一片经久不息的掌声中结束,听众仍感意犹未尽,纷纷同董明辉先生积极探讨大数据平台的学习方法及发展前景。我们相信🏋🏽👩🦼➡️,通过犹如董明辉先生,以及有志之士的不断探索🧑🏽🚀、努力,大数据平台将会为我们开创一片科技引领的新时代。


