你好,游客 登录
CarbonData 的搜索结果
摘要: 使用Spark+CarbonData替换Impala案例
背景介绍
国内某移动局点使用Impala组件处理电信业务详单,每天处理约100TB左右详单,详单表记录每天大于百亿级别,在使用impala过程中存在以下问题:
1、详单采用Parquet格式存储,数据表使用时间+MSISDN号码做分区,使用Impala查询,利用不上分区的查询场景,则查询性能比较差。
2、在使用Impala过程中,遇...
http://bigdatastudy.net/show.aspx?id=634&cid=9日期:2019-1-13 14:09:47
连续两篇文章都聊了不同的存储格式,这篇我们继续深入来看看在存储格式的演变之上有什么新的"黑科技"。华为公司在2016年开源了类parquet的列存格式:CarbonData,并且贡献给了Apache社区。CarbonData仅仅用了不到一年的时间就成功毕业,成为了Apache社区的顶级项目,CarbonData是首个由华人公司主导的Apache顶级项目,(来源自eBay的Kylin算是首个由华人主导的顶级开源项目...
http://bigdatastudy.net/show.aspx?id=631&cid=8日期:2019-1-13 14:05:35
  • 1/1
  • 1