你好,游客 登录
背景:
阅读新闻

祝贺:国人主导的分布式对象存储系统Ozone升级为Apache顶级项目

[日期:2020-12-10] 来源:  作者:艾叔编程 [字体: ]

近日,由腾讯大数据团队主导的分布式对象存储系统Ozone从ASF(Apache Software Foundation Apache 软件基金会)孵化器毕业,正式成为顶级项目。
Ozone是一个可伸缩的和可靠的分布式对象(即键值对,Key-Value)存储系统,它解决了HDFS存储海量小文件的问题,其设计目标是支持百亿个大小不一文件,后续还会进一步扩展。

Ozone补齐了Hadoop生态在海量数据存储上的最后一块短板,加上HDFS在海量大文件存储上的传统优势,至此,Apache Hadoop在开源大数据存储的中的地位更加牢不可撼。

ASF是目前世界上最大的、最具影响的开源软件基金会组织,也是一个专门为支持开源项目而生的非盈利性组织。所有的Apache项目必须首先经过孵化器的孵化,通过Apache基金董事会的考察后,其中的优秀者升级为顶级项目,其余的则只能成为其他顶级项目的子项目。ASF成立20余年来,共孵化成功350多个顶级项目,包括Apache HTTP服务器(httpd)、Tomcat、SVN和Struts等传统的著名项目,还包括Hadoop、Spark、Flink等大数据方向的著名项目。


这次Ozone升级为顶级项目,也就意味着Ozone在技术、成熟度和前景等各个方面得到全球业界专家的认可,同Hadoop、Spark等全球知名的Apache顶级开源项目站到了同一起跑线,更可喜的是,这是由我们国人主导、参与和开发的项目,其意义不言而喻。

Ozone的技术特性

  • Ozone被设计成支持数百亿个文件和数据块,这个能力在未来还会进一步扩大;
  • Ozone支持S3 和Hadoop File System API多种协议,并提供Java函数库或命令行等访问方式;
  • Spark程序、Hive and YARN可直接使用Ozone,不需要做任何的修改;
  • Ozone与Kerberos基础设施集成以实现访问控制,并支持TDE和在线加密;
  • Ozone使用副本的方式实现数据的可用性。

Ozone系统架构
如下图所示,Ozone系统架构包括Ozone Manager(简称OM)、Storage Container Manager(简称SCM)、DataNode和Client这4个组件。
OM管理文件系统中的NameSpace,并响应用户对Volume、Bucket和Key的操作;

  • SCM管理文件系统中的Block,Ozone的OM加上SCM相当于HDFS中的NameNode;
  • DataNode存储真实数据,它可以单独运行,也可以作为插件合并在HDFS的DataNode中运行;
  • Client用于向Ozone提交对象存储的相关操作,并显示过程结果信息。

Ozone目前发布了1.0.0版本,这是一个通用版本(Generally Available (GA) ),这意味着该版本接口的稳定性和质量已达到生产环境的要求。

借着Ozone成为Apache顶级项目的东风,后续会有更多的志愿者向Ozone贡献代码,Ozone自身的可靠性、稳定性和性能将会进一步加强,并将实现更多的业务落地。

艾叔快速迈向Spark编程高手之路

【1】绪论

【2】Spark是什么

【3】Spark就业形势分析


艾叔其他大数据快速入门系列

【1】艾叔:让Spark编程学习变得不再难---《Spark大数据编程实用教程》

【2】推荐:迈开通往年薪30w的第一步(专门面向Spark开发的IDEA课程)

【3】迷之问题:Spark和Scala库的版本一致性

【4】为何我自学大数据这么久,效果却不好呢?

【5】艾叔:最全【大数据采集技术】总结

【6】艾叔:大数据存储技术

【7】什么样的数据可以称为“大数据”?

【8】大数据开发的通用步骤

【9】Python or Java? 真的没有那么重要

【10】如何理解Scala的函数式编程

【11】艾叔,我的两台虚拟机咋就通不了呢?

【12】明明是按书上的步骤一步步来的,为什么还总出错?

【13】Spark采用Scala,是因为Scala支持函数式编程吗?

Ps:艾叔不是高手,也不是牛人,编程的道路上,走了很多弯路,也踩了很多坑,如果你也和艾叔当年一样,欢迎关注公众号

收藏 推荐 打印 | 阅读:
相关新闻       Ozone