分享好友 最新动态首页 最新动态分类 切换频道
阿里巴巴大数据之路——数据模型篇
2024-12-02 04:29
阿里巴巴大数据之路——数据模型篇 阿里巴巴

  1.什么是数据模型

    数据模型就是数据的组织和存储方法。主要关注的是从业务、数据存取和使用角度合理存储数据。

  2.典型数据仓库建模方法论

    ER模型

    纬度模型(建模四步曲:确定业务流程->确定粒度->确定纬度->确定事实表

   1.体系架构

    核心内容包括规范定义、模型设计等

     2.模型分层

      主要分为三大层(4小层:操作数据层(ODS,公共纬度模型层(CDM,应用数据层(ADS,其中,CDM又分为明细数据层(DWD)和汇总数据层(DWS

      操作层数据ODS:贴源设计,几乎无处理地存放操作系统数据

              结构化数据增量或全量同步到MaxComputer

         非结构化数据(日志)结构化处理同步到MaxComputer

         累积并保存清洗数据

       公共纬度模型层:存放明细数据、维表数据以及公共指标汇总数据,比较多的采用纬度退化的手段,将纬度退化到事实表中,减少关联

          组合相关和相似数据,采用明细宽表,减少数据扫描

          公共指标统一加工,统一口径,建立逻辑汇总宽表

          建立一致性纬度

      应用数据层ADS:存放数据产品个性化的指标数据

          个性化指标加工,无公用性

          基于应用的数据组装,大宽表集市、横表转纵表...

      整个模型如下图所示

 

          

          //数据调用服务一般优先使用CDM层,然后ODS,ADS作为应用数据一般不对外提供服务

    3.基本原则

         高内聚低耦合:将业务相近的放在一起,将高概率使用的放一起,遵循软件设计开发的高内聚低耦合原则

      核心模型与拓展模型分离:核心模型只包含常用核心业务字段,保证核心模型的简洁性

      一致性:相同含义的字段在不同表中必须使用相同的命名,表名等命名必须清晰一致,见名知意

      ...

   4.实施工作流

    (1) 数据调研

      包含业务调研和需求调研

       (2) 架构设计

      数据域划分    

    【数据域设计】(就是给出数据的大分类,数据所属的域

 

 

 

      构建总线矩阵

    【总线结构】(就是列出纬度与主题,进行存在的纬度画✔

      后续包括规范定义、模型设计与总结

     规范定义

      命名规范统一:表名、字段名等规范统一

      字段类型统一:相同与相似字段类型统一

      公共代码与代码值统一:代码与标志性字段应统一

最新文章
扒一扒大模型应用隐形冠军:服务1600 企业、200 业务场景,分分钟就可构建专属应用
白小交 发自 凹非寺量子位 | 公众号 QbitAI服务1600+企业、200+业务场景直接落地。这位大模型应用的隐形冠军不藏了。他们打造大模型应用开发平台,客户能够开箱即用。服务企业覆盖央国企、金融、政务、民生、制造、零售等领域。就在今天,
网站站长角色深度解析:他们是如何驾驭互联网的?
网站站长角色深度解析:如何驾驭互联网? 随着互联网技术的迅猛发展和普及,站长这一职业角色也逐渐成为了互联网生态中不可或缺的一环。他们如何驾驭互联网?今天我们就来深度解析网站站长的角色及其工作内涵。网站站长,顾名思义,即负责
深圳SEO秘籍,关键词优化攻略,助力企业网站排名飞升!
深圳快速SEO,专注关键词优化,助力企业网站快速提升排名。本文揭秘高效策略,助您优化关键词,实现网站流量激增。随着互联网的飞速发展,企业对的需求日益增长,在这个竞争激烈的市场环境中,如何让企业网站在搜索引擎中脱颖而出,成为众
警惕,裸聊诈骗竟为AI换脸“照骗”!
  近年来,AI换脸技术被应用在各个领域,不法分子也动起了歪心思,利用AI换脸实施犯罪,例如伪造不雅视频、换脸诈骗等。AI换脸不仅可以快速将一张人脸无缝融入另一个图片或视频中,甚至连人物表情、口型都可以用AI技术合成,具有更强的以
移动站seo优化-怎么做好移动网站的SEO优化-移动seo优化方法软件免费
移动站seo优化,移动网站怎么做SEO优化,移动网站SEO优化有什么规范。首先搜索引擎对移动网站的打开响应速度有一定的要求,打开速度越快越适合优化,打开速度越慢,越不适合优化。随着互联网的发展,
卖家精灵Mac 4.5.2
卖家精灵Mac官方版是款很多网店店主使用的关键词优化工具。卖家精灵Mac正式版为用户提供选品、关键词调研、竞品分析、关键词工具等丰富功能,用户可以通过它来查看各种商品最新热门搜索词。卖家精灵Mac还可以帮助购物网站上面的商家进行购
Broken Link Detector
Broken Link Detector为用户提供了一套死链接检测方案。其能够自动分析网站中的链接,并查看是否出现死链接。通过该程序可以帮助您查询网站上的无效的链接,辅助进行清除。检测结果分为全部与错误两部分,您可以查看所有的链接结果是否正常
群晖IPv6动态域名解析保姆级教程
创作立场声明:文章所述内容均经个人实践成功,但不保证所有设备均可使用,如有问题还请见谅,欢迎值友理性讨论,不喜勿喷。上篇文章我介绍了移动宽带如何通过IPv6获取公网IP,达到外网访问的目的。但是IPv6地址不仅巨长,不便输入,而且是
微信公众号消息模板——Java
目录 前言 介绍 准备操作 代码 前言 公众号消息模板推送有很多便利,尤其是针对小程序的消息提醒,具有及时性,准确性等有优势,还可以点击进入小程序当然更加适配小程序的有专门的小程序订阅消息,这个之后
H5开发,让传统网页焕发新生机
随着移动互联网的快速发展,逐渐成为了一个热门话题。那么,什么是H5呢?简单来说,H5就是HTML5的简称,它是一种基于的方式。相较于传统的网页开发方式,H5具有许多优势,如跨平台、响应式设计、性能优化等。专业的H5开发公司新里程科技将
相关文章
推荐文章
发表评论
0评