受邀出席腾讯数字生态大会 作业帮分享大数据平台架构演进之路
近日,2021腾讯数字生态大会在武汉举行,大会以“数实融合·绽放新机”为主题,邀请了300多位产业领袖和专家,展示前沿技术成果、创新服务场景、细分行业数字化转型的实践案例。作为腾讯云最佳生态合作伙伴,作业帮受邀出席,作业帮大数据平台技术部负责人刘晋在“大数据”专场与参会者分享作业帮大数据平台架构的演进之路,系统地介绍了作业帮大数据平台概况、面临的问题和解决方法,以及在弹性、数据湖、数据安全的实践经历和取得的效果。
弹性能力持续丰富 算力利用率最大化
刘晋表示,作业帮从2015年开始就使用存算分离的架构来构建离线的数据体系,该系统架构让计算、存储资源具备极好的扩展性,降低运维成本、优化TCO。为了提升在线集群资源利用率、满足突发的资源使用需求,团队正在将计算层从自建CDH到EMR的迁移。
为了实现平滑的迁移,团队采用了渐进式的方案,首先对任务进行标准化测试,对一些不适合高版本Hive环境的任务进行了改造,之后进行数据准确性的检验,通过对任务在不同集群的结果对比来验证数据,这个过程中对发现的开源版本缺陷进行修复,最后进行分队列的迁移。
从迁移后的效果来看,基于EMR-EKS能快速的弹性扩容,今年上半年团队基于弹性在短时间内扩容了上万核,很好的满足了计算需求。同时正在实施在线离线混布的方案,通过弹性网卡做了硬件层面的网络隔离,并且对Yarn的原生调度模式进行优化,缩短了节点回收的时间,避免慢节点影响任务执行效率。
数据湖技术加持 湖仓一体实践探索
在传统基于Hadoop的数仓应用里,存在着数据查询慢,数据模型更新成本过高、以及数据冗余等诸多的缺点,作业帮通过Iceberg的数据湖技术,结合实际的使用场景,在数仓和即席查询领域进行了积极的探索和实践。
首先通过Flink构建实时Pipeline,生成ODS层分钟级的IceBerg数仓表,再通过事件驱动来周期性的做流转批生成具有时间边界的分区,对分区内数据通过Zorder、DataSkipping技术来做查询加速,在流量域的用户行为查询中,使用Iceberg的查询相比传统模式有近10倍以上的提升。
刘晋表示,作业帮在批计算、实时、OLAP等领域有丰富的应用场景,未来作业帮技术团队将持续建设创新技术体系,在数据治理、数据湖、自动调度、离在线混布、OLAP、实时计算等领域不断的实践和突破,充分发挥数据价值,赋能教育创新。
关键词: 作业帮
您可能也感兴趣:
为您推荐
8家险企股权被挂牌转让,为何险企股权不再被追捧?
深圳最低工资标准调整为2360元/月 失业保险金为2124元/月
辽宁实施失业保险省级统筹 对缺口核定等作出详细规定
排行
最近更新
- 五粮液集团实现营收1400亿元
- 特斯拉反诉摩根大通 :想借马斯克发布私有化推特获利益
- 东莞中海嘉桦房地产因虚假材料取得商品房预售许可被罚 其系...
- 腾讯2021年近70人触犯“高压线”被辞退,13家企业进黑名单
- 东莞海逸豪庭项目存在违规行为东莞冠亚环岗湖商住区建造公司...
- 华夏幸福旗下幸福基业物业与捷裎控股(广州)就住宅、酒店等...
- 里昂上调华润万象生活目标价约11.7%至53.6港元
- 德银上调华润置地目标价 认为其毛利率不太可能大幅低于20%
- 阳光城“20阳城02”盘中接连停牌 两日累计跌幅超57%
- 惠誉下调国瑞置业长期外币发行人违约评级至“CCC+” 后者现...
- 穆迪再次下调祥生公司家族评级至“Caa2”展望负面 预计后者...
- 微信如何解绑信用卡?微信解绑信用卡有哪些操作步骤?
- 封闭式基金能不能提前取出来?封闭期内可以接受新投资吗?
- 支付宝备用金是什么?支付宝备用金有哪些使用规则?
- 春运吉途,从台铃开始
- 品深圳味道过喜力新年,让年味“酒”一点
- 销售收入不及预期 天味食品2021年净利润预减50.96%
- 网信办:持续开展整治 严防“饭圈”乱象反弹
- 华宝股份因朱林瑶违法问题收关注函,股价再次逼近跌停
- 今年以来股价下跌超30% 芒果超媒致力转型谋生
- 东莞晁基实业因虚假材料取得商品房预售许可被罚 其系阳光城...
- 万里股份“神操作”:溢价11倍买入资产亏损出售
- “PPT造车鼻祖”游侠汽车董事长卫俊被冻结4500万股权
- 晋商消费金融合作的助贷平台立案,用户称还款不被认帐
- 一加10 Pro实测:外形辨识度高、押注游戏“稳帧”
- 脱掉K-9包袱节流减员,新东方在线驶向新“东方”
- 青海春天一字跌停,2021年预亏超2.65亿或将被实施退市风险警示
- 金地集团子公司东莞金展房地产因虚假材料取得商品房预售许可被罚
- 帮助中小企业纾困解难,工信部明确这些举措!
- 机构:2021年126家房企参与收并购 交易金额同比增长21.3%
今日要闻
- 五粮液集团实现营收1400亿元
- 特斯拉反诉摩根大通 :想借马斯克发布私有化推特获利益
- 东莞中海嘉桦房地产因虚假材料取得商品房预售许可被罚 其系中海地产全资子公司
- 腾讯2021年近70人触犯“高压线”被辞退,13家企业进黑名单
- 东莞海逸豪庭项目存在违规行为东莞冠亚环岗湖商住区建造公司被处罚
- 华夏幸福旗下幸福基业物业与捷裎控股(广州)就住宅、酒店等领域达成合作
- 里昂上调华润万象生活目标价约11.7%至53.6港元
- 德银上调华润置地目标价 认为其毛利率不太可能大幅低于20%
- 阳光城“20阳城02”盘中接连停牌 两日累计跌幅超57%
- 惠誉下调国瑞置业长期外币发行人违约评级至“CCC+” 后者现金不足以覆盖离岸票据