news 2026/4/17 23:51:55

为什么银行放着好好的Oracle不用,要建设Hadoop数仓?银行建设Hadoop数仓的核心需求分析。

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
为什么银行放着好好的Oracle不用,要建设Hadoop数仓?银行建设Hadoop数仓的核心需求分析。

存储的数据量更大

价格更便宜,成本更低

"招行数据总量已突破50PB,日增数据量300TB+,传统数据仓库无法承载如此规模的数据增长。我们构建了基于Hadoop的混合架构,其中:

  • 热数据(近3个月):存储在Greenplum,约5PB

  • 温数据(3-24个月):存储在Hadoop,约30PB

  • 冷数据(24个月以上):存储在对象存储,约15PB

数据存储成本,Hadoop方案比纯Oracle方案降低65%。"

2023年平安银行数据平台数据: - 总数据量: 40PB+ - 日处理数据: 200TB - 集群规模: 3000+节点(LS银行的集群规模多少个节点?) - 最大单表: 客户行为表,8.7万亿行 - 查询性能: (查询速度变快)复杂查询从小时级降到分钟级

参考信息:

招商银行- 公开信息最多

  • 公开分享平台:招行技术开放日、DTCC数据库大会、ArchSummit架构师峰会

  • 关键技术人:招行信息技术部总经理周天虹、数据仓库团队负责人

  • 典型分享主题

    • 《招商银行数据湖仓一体建设实践》

    • 《招行基于Hadoop的金融级数据中台》

    • 《PB级数据平台在招行的应用》

平安银行 - 技术激进派
公开活动:平安科技Open Day、QCon全球软件开发大会

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/4/18 5:40:31

【Linux命令大全】008.磁盘维护之mkisofs命令(实操篇)

【Linux命令大全】008.磁盘维护之mkisofs命令(实操篇) ✨ 本文为Linux系统磁盘维护命令的全面汇总与深度优化,结合图标、结构化排版与实用技巧,专为高级用户和系统管理员打造。 (关注不迷路哈!!&#xff01…

作者头像 李华
网站建设 2026/4/17 18:21:46

双非背景如何逆袭腾讯T8 AI产品经理offer?大模型求职实战经验全分享,建议收藏!

文章讲述了双非背景的数据产品经理如何通过针对性辅导获得腾讯T8 AI产品经理offer的案例。学员面临学历硬伤、认知断层和表达误区三大问题,通过项目镀金、方法论迁移和话术洗牌等策略提升竞争力。面试过程中需深入理解大模型技术、AI产品全生命周期管理及腾讯云智能…

作者头像 李华
网站建设 2026/4/18 8:19:51

34合1黑科技工具箱!大神整合的免费软件套装

下载链接 https://pan.freedw.com/s/nDCayj 今天给大家安利一个超级实用的黑科技工具箱,里面集成了34款超好用的小软件,全都是日常能用到的实用工具,重点是完全免费还没广告,真的太良心了! 打开软件就能看到24个常用…

作者头像 李华
网站建设 2026/4/18 5:43:32

使用大模型

https://api.lingyaai.cn/注册 登录下 充值下 然后 添加令牌 输入名称就行提交 选择模型用就行了

作者头像 李华
网站建设 2026/4/18 11:01:00

高效文字转表格:核心技巧全解析

文字转表格的核心方法将文字转换为表格需明确内容结构,通常分为目录型(层级分明)和正文型(数据密集)。以下是具体操作逻辑:目录型文字转表格适用场景 多级标题、分类条目等层级清晰的文本,如论文…

作者头像 李华