ClickHouse——安装部署

• 1、灵活的MPP架构,支持线性扩展，简单方便，高可靠性
  
• 2、多服务器分布式处理数据 ,完备的DBMS系统
  
• 3、底层数据列式存储,支持压缩,优化数据存储,优化索引数据 优化底层存储
  
• 4、容错跑分快：比Vertica快5倍，比Hive快279倍，比MySQL快800倍,其可处理的数据级别已达到10亿级别
  
• 5、功能多：支持数据统计分析各种场景，支持类SQL查询，异地复制部署
  海量数据存储,分布式运算,快速闪电的性能,几乎实时的数据分析 ,友好的SQL语法,出色的函数支持
  

• 1、不支持事务，不支持真正的删除/更新 (批量)
  
• 2、不支持高并发，官方建议qps为100，可以通过修改配置文件增加连接数，但是在服务器足够好的情况下
  
• 3、不支持二级索引
  
• 4、不擅长多表join *** 大宽表
  
• 5、元数据管理需要人为干预 ***
  
• 6、尽量做1000条以上批量的写入，避免逐行insert或小批量的insert，update，delete操作
  

• 1、绝大多数请求都是用于读访问的, 要求实时返回结果
  
• 2、数据需要以大批次（大于1000行）进行更新，而不是单行更新；或者根本没有更新操作
  
• 3、数据只是添加到数据库，没有必要修改
  
• 4、读取数据时，会从数据库中提取出大量的行，但只用到一小部分列
  
• 5、表很“宽”，即表中包含大量的列
  
• 6、查询频率相对较低（通常每台服务器每秒查询数百次或更少）
  
• 7、对于简单查询，允许大约50毫秒的延迟
  
• 8、列的值是比较小的数值和短字符串（例如，每个URL只有60个字节）
  
• 9、在处理单个查询时需要高吞吐量（每台服务器每秒高达数十亿行）
  
• 10、不需要事务
  
• 11、数据一致性要求较低 [原子性 持久性 一致性 隔离性]
  
• 12、每次查询中只会查询一个大表。除了一个大表，其余都是小表
  
• 13、查询结果显著小于数据源。即数据有过滤或聚合。返回结果不超过单个服务器内存大小
  

• 1.文件打开数调整
  

• 2.取消selinux
  修改 /etc/selinux/config 中的 SELINUX=disabled 后重启
  

• 3.关闭防火墙
  

• 4.安装依赖
  

• 5.验证是否支持sse 4.2指令集
  需要验证当前服务器的CPU是否支持SSE 4.2指令集，因为向量化执行需要用到这项特性
  

• 192.168.200.91 cdh01
  
• 192.168.200.98 cdh02
  
• 192.168.200.99 cdh03
  

• 下载 zookeeper-3.4.8.tar.gz 安装包，放置到上面三台服务器相同目录下(/usr/local)
  
• 进入到/usr/local目录下，解压tar包，tar -zxvf zookeeper-3.4.8.tar.gz
  
• 进入zookeeper的conf目录，拷贝zoo_sample.cfg为zoo.cfg，cp zoo_sample.cfg zoo.cfg 修改zoo.cfg文件:
  

• 三台服务器分别创建目录：mkdir /opt/zookeeper
  
• 在/opt/zookeeper目录中创建一个名为myid的文件，三台服务器文件内容分别为1，2，3
  
• 进入zookeeper的bin目录，启动zookeeper服务，每个节点都需要启动：./zkServer.sh start
  
• 启动之后查看每个节点的状态 ./zkServer status , 其中有一个节点是leader，有两个节点是follower，证明zookeeper集群是部署成功的
  
• 测试zookeeper连接：./zkCli.sh -server cdh01:2181
  

• 3.1 首先在三台服务器分别安装上clickhouse，安装参照如上单机方式。
  

• 3.2 修改配置文件: vim /etc/clickhouse-server/config.xml
  

• 
  
  • . 首先各节点启动 : systemctl start clickhouse-server 查看运行状态 : systemctl status clickhouse-server
    
    
    
  
  
• 
  
  • . 任意节点连接clickhouse : clickhouse-client --host=cdh02 --port=9002 -m
    查询集群 ：
    
  
  

• remote_servers：
  clickhouse集群配置标签，固定写法。注意：这里与之前版本不同，之前要求必须以clickhouse开头，新版本不再需要。
  
• clickhouse_cluster_3shards_1replicas:
  配置clickhouse的集群名称，可自由定义名称，注意集群名称中不能包含点号。这里代表集群中有3个分片，每个分片有1个副本。
  分片是指包含部分数据的服务器，要读取所有的数据，必须访问所有的分片。
  副本是指存储分片备份数据的服务器，要读取所有的数据，访问任意副本上的数据即可。
  
• shard：
  分片，一个clickhouse集群可以分多个分片，每个分片可以存储数据，这里 分片可以理解为clickhouse机器中的每个节点，1个分片只能对应1服务节点 。这里可以配置一个或者任意多个分片，在每个分片中可以配置一个或任意多个副本，不同分片可配置不同数量的副本。如果只是配置一个分片，这种情况下查询操作应该称为远程查询，而不是分布式查询。
  
• replica：
  每个分片的副本，默认每个分片配置了一个副本。也可以配置多个，副本的数量上限是由clickhouse节点的数量决定的。如果配置了副本，读取操作可以从每个分片里选择一个可用的副本。如果副本不可用，会依次选择下个副本进行连接。该机制利于系统的可用性。
  
• internal_replication：
  默认为false,写数据操作会将数据写入所有的副本，设置为true,写操作只会选择一个正常的副本写入数据，数据的同步在后台自动进行。
  
• zookeeper：
  配置的zookeeper集群，注意：与之前版本不同，之前版本是“zookeeper-servers”。
  
• macros：
  区分每台clickhouse节点的宏配置，macros中标签代表当前节点的分片号，标签代表当前节点的副本号，这两个名称可以随意取，后期在创建副本表时可以动态读取这两个宏变量。注意：每台clickhouse节点需要配置不同名称。
  
• networks：
  这里配置ip为“::/0”代表任意IP可以访问，包含IPv4和IPv6。
  

注意：允许外网访问还需配置/etc/clickhouse-server/config.xml。

• clickhouse_compression：
  MergeTree引擎表的数据压缩设置，min_part_size：代表数据部分最小大小。min_part_size_ratio：数据部分大小与表大小的比率。method：数据压缩格式。
  

• --host，-h：
  使用-h指定ip或者host名称时，需要在/etc/clickhouse-server/config.xml配置文件中114行配置：<listen_host>::</listen_host> ，代表可以任意ip可访问。配置完成后需要重启当期clickhouse节点生效。
  

• --query，-q：
  

• --database, -d：
  

• --multiline, -m：
  

• --time, -t：
  

• --stacktrace：
  

• --multiquery，-n：