传统数仓的3大缺陷，一篇整理清楚
发布时间：2023-02-16 09:37:08 所属栏目：云计算 来源：互联网
导读：传统数仓存在哪些问题？本文将对传统数仓的缺陷进行总结！ 01 效率低 传统的数仓大多构建在Hadoop之上，这为传统的数仓带来了近乎无限的横向扩展能力，同时也造成了传统的数仓技术效率低的缺陷。效率低主要体现在以下几个方面。 部署效率低：在部署Hive/HBas
|
传统数仓存在哪些问题？本文将对传统数仓的缺陷进行总结！ 01 效率低 传统的数仓大多构建在Hadoop之上，这为传统的数仓带来了近乎无限的横向扩展能力，同时也造成了传统的数仓技术效率低的缺陷。效率低主要体现在以下几个方面。 部署效率低：在部署Hive/HBase/Kylin之前，必须部署好Hadoop集群。和传统数据库相比，这个部署效率是非常低效的。 运维效率低：Hive/HBase/Kylin基于Hadoop，Hadoop生态会带来一个非常严重的单点故障问题，即Hadoop体系中任何一个组件出现问题，都可能引起整个系统的不可用。使用传统的数仓对运维的要求非常高。 计算效率低：主要体现在Hive和Kylin上，这两个数仓没有自己的存储引擎和计算引擎，这导致Hive和Kylin只能依靠堆机器实现复杂查询，而无法从数据本身下手。在大数据后期，一些以数据快速查询为目标而特殊设计的数据存储格式成为标准，这个现象才有所改观。而HBase的优化核心就是重新设计的存储引擎，使得HBase可以对数据本身进行查询速度的优化。 02 成本高 传统的数仓数仓引擎还会带来成本高的挑战，主要体现在以下几个方面. 部署成本高：由于Hadoop的计算逻辑是通过堆计算资源的方式来摊销复杂查询的时间，因此如果需要达到一个比较理想的性能，必须要求集群中节点的数量达到一定的规模，否则因为计算效率低的特点，单机很容易成为性能瓶颈。这导致了Hive等基于Hadoop的数仓部署成本高的缺陷。 运维成本高：集群服务器达到一定规模后，运维成本会指数级上升。同时，由于Hadoop中组件太多，任何一个组件的失效都有可能导致整个服务的不可用，因此运维团队必须包含所有组件的运维人员，否则运维团队有可能很好地执行任务。这也极大地提高了运维团队的人力成本。 存储成本高：Hadoop的HDFS为了避免集群中服务器故障从而导致的不可用的情况，默认使用三副本策略存储数据，即数据会保存三份。这会极大地提高存储成本。即使是新一代的Hadoop采用了EC纠删码技术降低了副本数量，但使用场景有限只适合在冷数据存储中使用，对于经常需要查询的热数据，并不适合采用该方案。 （编辑：甘南站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
