大数据入门（一）—— 数据仓库（数仓）基本概念

最近做需求的时候，涉及到了数仓相关的知识。
简单介绍下数仓的一些基本概念。
以及，了解下大数据开发的一些基本流程。

简单来说，有了大数据的支撑，会让我们更加容易的做出正确的产品决策。
因此，对于一个产品的长期发展来说，需要基于大数据的分析，甚至A/B实验（用户行为、业务数据等等），来判断产品需求的效果以及业务痛点。

数据仓库（Data warehouse，简称DW或DWH），是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。 为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。（来源：百度百科）

• 数据仓库中的数据是按照一定的主题域进行组织的。
  
• 主题是指用户使用数据仓库进行决策时所关心的重点方面，一个主题通过与多个操作型信息系统相关。
  

• 需要对源数据进行加工与融合，统一与综合
  
• 在加工的过程中必须消除源数据的不一致性，以保证数据仓库内的信息时关于整个企业的一致的全局信息。（关联关系）
  

• DW中的数据并不是最新的，而是来源于其他数据源
  
• 数据仓库主要是为决策分析提供数据，涉及的操作主要是数据的查询
  

• 处于决策的需要数据仓库中的数据都需要标明时间属性
  

• 数据库：一般用于在线处理业务、存储数据。
  
• DW：专门为数据分析设计的，涉及读取大量数据以了解数据之间的关系和趋势。（往往是离线的，类似定时任务）
  

• 数据运营层（ODS）
  
• 数据仓库层（DW）
  
• 数据应用层（ADS）
  

ODS：Operation Data Store 数据准备区，也称为贴源层。
数据仓库源头系统的数据表通常会原封不动的存储一份，这称为ODS层，是后续数据仓库加工数据的来源。

• 业务数据库
  经常会使用sqoop来抽取，例如每天定时抽取一次。
  实时方面，可以考虑监听mysql的binlog，实时接入即可。
  
• 消息队列
  即来自Kafka、RocketMQ、ActiveMQ 等等的数据。
  
• 埋点日志
  日志一般以文件的形式保存，可以选择用flume定时同步
  可以用spark streaming或者Flink来实时接入，kafka也OK