阿里云离线数仓(一)

时间:2021-6-12 作者:qvyue

学一下阿里云数仓中的部件

1.数据仓库概念

  1. 数据仓库定义
    为企业所有决策制定过程,提供所有系统数据的战略集合
  2. 数据仓库好处
    帮助企业改进业务流程,控制成本,提高产品数量
  3. 数据仓库做什么
    清洗,转换,分类,重组,合并,拆分,统计
  4. 数据仓库输出到哪
    报表系统 用户画像 推荐系统 机器学习 风险控制

2.项目需求和项目设计

项目需求

采集埋点日志数据
采集业务数据库中的数据
数据仓库的搭建(用户行为的数仓 业务数仓)
分析统计业务指标
对结果进行可视化展示

计算框架

DataHub 数据总线(缓冲)
maxcomputer 大数据计算框架
Dataworks 可视化的maxcomputer的开发管理平台
RDS 关系型数据库
QuickBI 可视化数据展示工具
ECS 弹性服务器

技术选型
  1. 数据采集与传输
  2. 数据的存储
  3. 数据的计算
  4. 数据的可视化展示
系统数据流程设计
阿里云离线数仓(一)
系统数据流程设计
服务器选型

物理机还是云主机

集群规模
阿里云离线数仓(一)
集群规模

3.数据生成模块

商品列表页
阿里云离线数仓(一)
商品列表页
商品曝光
阿里云离线数仓(一)
商品曝光
商品详情页
阿里云离线数仓(一)
商品详情页
购物车
阿里云离线数仓(一)
购物车
广告
阿里云离线数仓(一)
广告
消息通知
阿里云离线数仓(一)
消息通知
评论
阿里云离线数仓(一)
评论
收藏
阿里云离线数仓(一)
收藏
错误日志
阿里云离线数仓(一)
错误日志
启动日志报告
阿里云离线数仓(一)
启动日志报告
声明:本文内容由互联网用户自发贡献自行上传,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任。如果您发现有涉嫌版权的内容,欢迎发送邮件至:qvyue@qq.com 进行举报,并提供相关证据,工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。