大数据技术的四大挑战和十大趋势
发布时间：2023-02-15 11:08:21 所属栏目：云计算 来源：互联网
导读：论文指出，在大数据应用需求驱动下，计算技术体系正面临重构，从计算为中心向数据为中心转型，在新的计算技术体系下，一系列基础理论和核心技术问题亟待破解，新型大数据系统技术成为重要发展方向，同时面临四大挑战。 挑战一：如何构建数据为中心的计算体系
|
论文指出，在大数据应用需求驱动下，计算技术体系正面临重构，从“计算为中心”向“数据为中心”转型，在新的计算技术体系下，一系列基础理论和核心技术问题亟待破解，新型大数据系统技术成为重要发展方向，同时面临四大挑战。 挑战一：如何构建数据为中心的计算体系 全球大数据规模增长快速，2020年全球新增数据规模为64ZB，是2016年的400%，2035年新增数据将高达2140ZB1，大数据呈现指数级增长。随着数字经济的发展和数字化转型的深入，愈来愈多的数据资源正以数据要素的形态独立存在并参与数字经济活动全过程。因此构建以数据为中心的新型计算体系，以适用新的应用环境。如何组织和管理超大规模的数据要素已经成为一项难题：例如，针对大数据管理，面临数据跨域访问带来的各种问题、系统规模持续增大带来的可用性下降、维护大规模数据带来的成本和能耗持续增高等严峻挑战。 挑战二：如何满足大数据高效处理的需求 数据规模呈指数级增长，数据动态倾斜、稀疏关联、应用复杂，传统大数据处理架构数据处理成本高企、时效性差，如何满足规模海量、格式复杂、需求多变的大数据高效处理需求是大数据处理面临的重要挑战。  挑战三：如何形成系统化大数据治理框架与关键技术 针对大数据应用过程中的对数据汇聚融合、质量保障、开放流通、标准化和生态系统建设的需求，大数据治理技术逐渐成为发展热点，然而当前系统化的大数据治理框架尚未形成，开放共享、质量评估、价值预测等关键技术远未成熟，成为制约大数据发展的主要瓶颈。 回顾国内外大数据技术在管理、处理、分析与治理四个方面近十年的发展，可以看出，数据规模高速增长，现有处理计算能力已经成为瓶颈；数据成为生产要素，但数据价值释放不充分；从产业生态重点的变迁看，呈现出“应用先于理论技术，市场先于标准法规”的现象，虽然大数据已经在一些应用领域（特别是互联网领域）取得了较好的成效，但是大数据基础理论和应用技术不成熟，大数据治理体系远未建立，总体上，大数据发展仍然处于初级阶段。 中国在大数据发展方面取得积极进展，但总体上较之国际先进水平，仍存在差距。具体地，大数据管理技术大部分领域与国外顶尖水平基本相同或接近，其中高能效一体化大数据管理领域处于国际领先水平；大数据处理技术多数领域与国外顶尖水平尚存在技术差距，在资源和互联网应用领域大数据处理技术应用较好，与国际最高水平基本持平；大数据分析的基础理论与核心技术方面与国际先进水平还存在着一定差距，在商业等领域应用方面已超越国外；大数据治理技术整体上发展较晚，体系远未成形，技术产品生态仍由国外主导，同时在以数联网为代表的数据开放流通技术方面与国际先进水平相当。 面向未来，在大数据应用需求驱动下，计算技术体系有必要进行重构，以数据为中心的新型大数据系统技术成为重要方向，信息技术体系将从“计算为中心”向“数据为中心”转型，新的基础理论和核心技术问题仍有待探索和破解。以大数据管理、处理、分析和治理为核心的大数据技术在原有通用计算体系上的持续优化仍有发展空间，数据为中心的新技术体系将成为缩小大数据规模指数级增长、与大数据计算需求和能力之间“剪刀差”的突破点。 （编辑：甘南站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
