展望当下大数据体系的4大技术趋势
大数据体系的领域架构
大数据体系未来演进的4大技术趋势:
趋势1:近实时架构兴起
在离线batch计算和纯流式实时计算之间,以开源Apache Delta/Hudi为代表的近实时架构成为热点。近实时架构
大数据体系的领域架构 大数据体系未来演进的4大技术趋势: 趋势1:近实时架构兴起 在离线batch计算和纯流式实时计算之间,以开源Apache Delta/Hudi为代表的近实时架构成为热点。近实时架构避免了流计算庞大的状态存储与管理,在成本和延迟上找到了另一个平衡。随近实时架构的形成,计算架构最终完成从离线到实时全频谱支持。 趋势2:数据共享与隐私保护成为热点 数据成为资产,开始具备可变现和可交易的能力。可保护隐私的数据交换/共享能力成为强劲的需求。基于DifferentialPrivacy的数据编码交易,以及基于Federated Learning的多方面安全计算是该领域的热点技术。 趋势3:IoT成为新热点 目前人的行为数据(日志)是大数据计算的主要来源,超过80%的数据都来源于行为日志(例如浏览、点击)。随5G+智能化设备的兴起,设备日志会成为更大的数据源增长点,面向海量低价值设备数据的处理和优化,需要得到更多的关注。 趋势4:AI for System AI for System,即上文中提到的大数据自动驾驶。AI作为工具,成为优化的常用手段。在大数据领域大数据技术架构,随数据量/系统复杂度的增长,DBA模式已经不再试用。利用算法优化系统成为主流方向,大数据的“自动驾驶”会越来越自动。 (编辑:92站长网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |