如何搭建企业大数据分析平台(企业如何搭建大数据系统)

fangcloud 89 2022-08-14

本文转载自网络公开信息

如何搭建企业大数据分析平台(企业如何搭建大数据系统)

大数据分析处理平台整合目前主流的各有侧重点、各有侧重的大数据处理分析框架和工具,实现对数据的挖掘与分析,大数据分析平台所涉及的组件众多,如何将其有机结合起来,对大量数据进行挖掘是一个复杂的过程。在构建平台之前,明确业务需求以及用户需求,通过大数据分析平台,想要获得有价值的信息,需要访问数据,明确基于场景业务需求的基本功能,确定大数据处理工具和框架。

具体的整体架构可以由以下几个部分组成:

1、业务应用:其实指的是数据采集,你通过什么样的方式收集到数据。互联网收集数据相对简单,数据可以通过网页和应用程序收集。例如,许多银行现在都有自己的App。这便能够更深层次的分析用户行为数据,可以切分出来很多维度,做很细的分析。但对涉及离线的行业来说,数据采集需要借助各种业务系统来完成。

2、数据集成:实际上是指ETL,是指用户从数据源中提取所需数据,最终根据预定义的数据仓库模型将数据加载到数据仓库。而这里的Kettle只是ETL的其中一种。

3、数据存储:指的是建立数据仓库,简单地可分为业务数据层(DW)、指标层、维度层(DWA)。

4、数据共享层:在数据仓库和业务系统之间提供数据共享服务。Web Service和Web API ,表示一种数据之间的连接方式,以及一些其它的连接方式,这些方法可以根据自己的情况决定。

5、数据分析层:分析函数就相对比较容易理解了,就是各种数学函数,比如K均值分析、聚类、RMF模型等等。列存储使磁盘中的每个Page只存储单列值,而不存储整行值。这样压缩算法会更加高效。进一步说,这样能够减少磁盘的I/O、提升缓存利用率,因此,磁盘存储会被更加高效的利用。

分布式计算可以将需要大量计算能力解决的问题分为许多小部分,然后将这些部分同时交给许多计算机,然后将这些计算结果结合起来,以获得最终结果。综合这两种技术,就能够大幅度提高分析环节的效率。Yonghong MPP目前在这两个方面都做的最好。

6、数据显示:结果以何种形式呈现,实际上是数据可视化。在此推荐使用敏捷BI,与传统BI不同,它可以通过简单的拖拉方式生成报告,而且学习成本更低。

7、数据访问:相对简单,这取决于你如何查看这些数据。图中的示例是由于B/S架构,通过浏览器访问最终的可视化结果。

具体案例分析:

Smartbi银行应用产品整体解决方案:

● Smartbi在存储层上构建了数据分析平台,包括完整的数据平台、技术平台和业务平台。实质上就是建立具有数据共享能力的应用中心;

● Smartbi旨在连接数据中台和业务中台,实现应用满足技术中台要求的银行数据分析技术中台产品。它包含了可视化组件、数据分析组件、数据挖掘组件等,展示了数据背后的价值;

● 该产品配置后,连接银行已有数据,根据银行的个性化需求,可以方便地满足对自助分析、报表、数据挖掘、座舱管理等系统的需求。我们也抽象了些应用模板、数据模板。

该方案价值点:

● 管理驾驶舱:响应快速性、工作汇报便捷性;

● 数据准确性、分析即时性、风险预警性和辅助决策性;

● 自助分析:图表快速自助、简化工作流程、业务价值共享;

● 明细查询、节约维护成本、业务自助分析和数据快速排查。

本站部分文章、图片属于网络上可搜索到的公开信息,均用于学习和交流用途,不能代表亿方云的观点、立场或意见。我们接受网民的监督,如发现任何违法内容或侵犯了您的权益,请第一时间联系小编邮箱jiasou666@gmail.com 处理。
上一篇:无需手工粘贴的多表汇总方法解决多个Excel文件表格的汇总问题(复制粘贴多个表格)
下一篇:打开WPS,电脑任务栏不见了,显示不了(打开wps看不到电脑任务栏)
相关文章

 发表评论

暂时没有评论,来抢沙发吧~

微信二维码