企业级大数据中台架构实战【1】(数据中台的典型架构是怎样的)

fangcloud 587 2022-08-10

本文转载自网络公开信息

企业级大数据中台架构实战【1】(数据中台的典型架构是怎样的)

大家好,我是猪猪,没错是猪头的猪。

当一个程序员逆袭从为一名架构师的时候,那考虑最多的就是如何设计现阶段公司的数据中台架构。

认知高度

什么是认知,认知是指人们获得知识或应用知识的过程,或信息加工的过程,这是人的最基本的心理过程。它包括感觉、知觉、记忆、思维、想像和语言等。人脑接受外界输入的信息,经过头脑的加工处理,转换成内在的心理活动,进而支配人的行为,这个过程就是信息加工的过程,也就是认知过程。只有不断的这样,自己的认知就会不断的提高,做架构就是这样。

一般工作3到5年,在业务开发上基本没有任何问题了,积累了大量的项目经验,技术也知道很多了,并且基本已经是团队的内部的主程或者得力助手,或者是公司的核心人员。去年年终的时候,发现很多小伙伴还是一味汇报项目相关的经验,在交谈的过程中,发现他们也是很困惑,感觉自己进步很慢,好像一直卡在哪里,又说不出来,没有大幅度的提升,遇到瓶颈。

分享一下来自互联网的这个图:

所以小伙伴遇到一个瓶颈,也就是认知需要提高,那么做架构也要不断提升架构认知高度,正如达克效应描述一样(如上图),要敢于从愚昧之巅跳到绝望之谷,通过爬升开悟之坡,从而达到架构认知的巅峰时刻。

架构认知的三个层次:行业视野、技术视野、工作视野。架构师能力的上线是什么?是对业务本质的理解,因此,行业视野(包含公司)这是第一步。但与技术还有较大落地上的差据,技术要把业务需求转化成系统、这要具备技术视野。最后,具体到你、如何落地?这是一个执行的问题。

做架构不能只顾技术,看到别的公司有什么技术,我们就上什么技术。架构是根据我们收集公司业务现状信息,比如业务复杂度,大数据架构要有数据量大小及规模,时间问题,当前团队的人员问题等等。面对业务场景给出优雅的解决方案,使得业务能够快速迭代和持续交付,从而达到降本增效的目标。综合评估,折中做出适合公司的当前的架构,不能满足于现状,也不能过度的超前设计。

公司大数据架构演进

一般根据公司的发展规模等,大数据架构也会不同,如下图:

公司发展初创期,人员少,数据量也少,大数据一般就会没有,业务人员自己在事务性数据库里面统计指标,或者用简单的shell脚本搞定。公司发展到中期,属于高速发展期,这个时候,需要建立自己的大数据仓库,数据集市,可视化分析平台等,同时会建立大数据平台等。等到公司发展稳定期,具有全域的大数据仓库,大数据分为PAAS层,DAAS层,DA层等大数据中台架构,这个时候业务方也特别多,市场运营,老板等各个部门人员非常多,就需要考虑各个部门是不是就建立自己单独的数据集市,自己用自己的,大数据小伙伴配合业务一块建立,但是规范按照大数据平台设定的规范。

大数据架构实战

下一篇文章关于大数据平台整体架构的构思,以及企业级大数据架构技术矩阵建立。

本站部分文章、图片属于网络上可搜索到的公开信息,均用于学习和交流用途,不能代表亿方云的观点、立场或意见。我们接受网民的监督,如发现任何违法内容或侵犯了您的权益,请第一时间联系小编邮箱daifeng@360.cn 处理。
上一篇:如何只在第一页插入水印(怎么把水印放在指定的页面)
下一篇:如何设置将我的表格都是用WPS方式打开(怎么设置电脑打开表格的方式为wps)
相关文章

 发表评论

暂时没有评论,来抢沙发吧~