流式大数据实时处理—技术、平台及实施
发布时间：2021-11-10 12:25:51 所属栏目：大数据 来源：互联网
导读：今天CNCC 2016在山西太原盛大开幕，开幕演讲中，CCF会士、中国工程院院士、浙江大学陈纯教授做了题为流式大数据实时处理技术、平台及应用的报告，以下为报告内容精编。 CNCC 2016 流式大数据 流式大数据从这个角度看，可以把大数据分成两个：一个是批式大数
|
今天CNCC 2016在山西太原盛大开幕，开幕演讲中，CCF会士、中国工程院院士、浙江大学陈纯教授做了题为“流式大数据实时处理技术、平台及应用”的报告，以下为报告内容精编。 CNCC 2016 流式大数据 流式大数据从这个角度看，可以把大数据分成两个：一个是批式大数据，另一个是流式大数据。 举个例子来说 我们把数据当成水库的话，水库里面存在的水就是批式大数据，进来的水是流式大数据。 10年前，从传统的三架马车开始到现在组成了60、70个相关庞大的生态圈。重点我们可以看到，从2012年开始，才关注了流式大数据，就是数据流的模式。在之前，所有的大数据算法和系统就是批式大数据，从12年开始才专门针对流式大数据的组建。 由于数据流的处理，应用场景主要是两类： 一类是互联网 另一类是移动互联网 移动互联网和互联网的个性服务，不断提升用户体验对实时要求也是非常高的。一般要样本性的相应，而互联网的传感数据，通过智能分析来经营决策的。这以前大数据的分享，我们可以把它分成事后的风险和追溯，而更重要的应用事中的分析、处理。 CNCC 2016 一种集群式、分布式的解决方案，但是其实时响应比较慢。 另一种是组建流式大数据，即内存计算，但它的实时相应数据规模受限。 但是大数据的处理技术，主要有四个难题。它们分别是： 1、基于分布式内存的运行计算 2、可能很多台计算机，每台计算机多CPU，你一个任务下去，在计算机上同时进行内存的计算，它都是可以做到分布存储。 3、海量历史数据高性能的分析 4、当你流进水库的实时，不仅仅是处理流的数据，而且还要把你存在数据库的数据一起建立起来。因为这个时间窗口，要重复计算问题，并且有海量数据的复杂增量要计算。 数据流进来后，怎么样把流式数据跟历史数据一起计算? 所谓大数据，流式是必须要算的，解决办法就可以从增量基础上入手。 要用模型解决实际应用的问题 张老师说像统计的模型，基于规则的模型，这些模型能够很好的结合。所以要把实施处理的分析模型分开，这样就能针对不同的问题进行可以计算。 这四个就是最重要的四大问题，我们现在的研究成果——流立方的实时计算，把数据时间窗口、计算指标加上最核心的增量计算，也就是解决分布的存储的性能，与基于内存的计算更好的结合在一起。 流立方 现在我们来介绍下流式大数据实时处理平台，我们知道这个平台不仅仅是流立方计算引擎。结合大数据，相当于流立方的计算引擎要从60多个组件里面，抽取部分构成这么一个平台，同时还要加上分布存储、数据库，包括大数据的云处理平台，还有其他地方来构成这个平台，实际上这个平台是非常强大的系统。 下面介绍有应用，这个是流立方应用的框架。 <img alt="CNCC 2016 " 浙江大学陈纯：何为流式大数据？"="" height="386" data-cke-saved-src="http://www.raincent.com/uploadfile/2016/1021/20161021041755731.png" src="http://www.raincent.com/uploadfile/2016/1021/20161021041755731.png" width="600" style="width: 660px; height: 424.541px;"> 红线里面都是以流式大数据存在的计算指标、统计指标，左边是有一个分析处理模型，这个模型是可以基于数学模型指导。所以，当你把一个要解决的问题，比如说： 下围棋要学习，就可以把下棋的棋谱传进来。可以在这个平台上进行计算，这是外部应用系统。 它可以应用很多，流立方实时平台上在原有基础系统上，做一个并行系统实时检测，通过专业知识、模型来实时分析。 下面具体来看几个案例： 金融风控反欺诈 CNCC 2016 现在电子支付上，除了蚂蚁金服和微信支付是自己做的风控以外，基本上所有的系统都是基于流立方来做的。 反爬虫系统 CNCC 2016 应用的前景非常的广泛：金融、电信、交通、公安、海关、互联网都可以应用。 体会 流数据的实时处理 流式数据的实时分析，一定是有规则、模型的东西。复杂的分析计算，加上实时这两个结合起来，如果能做的好，一定能够加速大数据在各个行业的应用。 大数据 我们现在大数据要么就是卖数据，对比数据事后不同的分析来追溯，这个非常重要。 但是我们现在应用最重要，还是要结合不同的空间数据实施流数据分析。这个要有平台才能把所有的数据(互联网、移动互联网还有互联网+)共同体验、提升。  （编辑：开发网_开封站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
浙公网安备 33038102330459号