大数据ClickHouse进阶(五):副本与分片

1、ClickHouse提供副本与分片技术以增强数据存储的冗余性和水平切分数据的能力。副本功能让数据在多个节点上进行存储，确保数据的可靠性与可用性，而分片则实现数据的横向切分，以支持多线程和分布式查询，优化性能。在构建ClickHouse集群时，可以配置副本与分片。

2、ClickHouse使用实践与规范：应用场景与表引擎选择 应用场景：ClickHouse适用于高并发读取、宽表存储、少量修改且对数据一致性要求较低的场景，如用户行为分析、实时日志监控等。 表引擎选择：主要使用MergeTree系列表引擎，包括标准MergeTree、ReplicatedMergeTree、ReplacingMergeTree和SummingMergeTree等。

3、个节点部署，可以选择2个分片0个副本，只需在config.xml中进行设置，具体步骤见附3。在这种模式下，数据通过分片分散在多个节点上，提高存储能力。副本则强化了数据安全性，即使某节点故障，也能从其他节点获取数据。

4、安装完成后，修改配置文件以适应3分片2副本的部署策略，确保数据分布的均衡与冗余。最后，启动Clickhouse集群。验证集群状态，确保所有节点运行正常，数据复制与查询功能均能正常运作。通过遵循上述步骤，我们可以高效部署Clickhouse集群，实现数据的高可用性与高性能查询，为大数据平台提供强有力的支持。

5、**整体思路**： 首先，创建 Clickhouse 与 Kafka 的联合表（即 Kafka 引擎表），这一步相当于在 Clickhouse 和 Kafka 之间建立数据通道，但此时 Kafka 的数据未被引入到 Clickhouse 中。 接着，配置分片表的集群，确定分片表数据存储的节点与副本分布情况。

6、分布式架构：采用MPP架构，支持集群模式，数据分区、分片和副本。高性能：采用列存、高压缩和向量化引擎，实现秒杀性能。安全可靠：具备熔断机制和防误删机制。完善权限系统：采用RBAC，支持多种权限控制。开源软件：遵循Apache0协议，有活跃的社区和快速的发版速度。

ClickHouse使用实践与规范

ClickHouse使用实践与规范：应用场景与表引擎选择 应用场景：ClickHouse适用于高并发读取、宽表存储、少量修改且对数据一致性要求较低的场景，如用户行为分析、实时日志监控等。 表引擎选择：主要使用MergeTree系列表引擎，包括标准MergeTree、ReplicatedMergeTree、ReplacingMergeTree和SummingMergeTree等。

对于Mapper.xml文件，需要编写SQL语句以实现对ClickHouse表的增删查改操作。这里主要关注的是插入和查询操作的实现，以展示ClickHouse在实时数据处理方面的高效。Mapper接口的编写遵循Mybatis的规范，定义了具体的SQL操作方法，与具体的数据库操作对应，使得业务逻辑与数据库操作分离，提高代码的可维护性和可读性。

列式存储和数据压缩技术：列式存储按列存储数据，提高查询性能，尤其适用于分析型查询。ClickHouse 支持多种数据压缩算法，如 LZZSTD 等，可减小存储空间和网络传输开销。数据生命周期管理策略：制定数据存储、备份和删除策略，根据数据价值和使用频率进行管理，确保资源有效利用。

对于那些需要保持数据规范化的分析工作负载，如传统的数据仓库，ClickHouse同样胜任。虽然扁平化表有助于快速查询，但在需要联接源数据的部分，ClickHouse并不限制。它不仅支持标准SQL的Join类型，还扩展了其他专为分析和时间序列分析设计的Join类型。

此外，NineData提供了功能丰富的DevOps产品，包括个人版和企业版。个人版永久免费，具备与传统工具相媲美的功能。企业版在此基础上增加了组织权限管理、流程规范和不同环境下的变更发布和敏感数据管理功能。

简介：ClickHouse 社区在28版本中引入了 ClickHouse Keeper。ClickHouse Keeper 是完全兼容 Zookeeper 协议的分布式协调服务。本文对开源版本 ClickHouse v219-lts 源码进行了解析。 作者简介：范振（花名辰繁），阿里云开源大数据-OLAP 方向负责人。背景 注：以下代码分析版本为开源版本 ClickHouse v219-lts。

「Clickhouse系列」分布式表&本地表详解

分布式表： 定义：分布式表在ClickHouse中是一种逻辑上的表，可以理解为数据库中的视图，它本身并不存储数据，而是基于本地物理表的分布式视图。 功能：分布式表引擎会将查询请求路由到各个本地表进行查询，然后进行汇总，最终返回给用户。

ClickHouse的表分为两种：一种逻辑上的表，可以理解为数据库中的视图，一般查询都查询分布式表；另一种是实际存储数据的表。分布式表引擎会将我们的查询请求路由到本地表进行查询，然后进行汇总最终返回给用户。ClickHouse依靠ReplicatedMergeTree引擎族与ZooKeeper实现了复制表机制，成为其高可用的基础。

数据丢失。clickhouse插入分布式表没反应是在ES中比较常见的写Rejected导致数据丢失、写入延迟等问题，在ClickHouse中不容易发生。查询速度快，官方宣称数据在pagecache中，单服务器查询速率大约在2-30GB/s。

亿级数据量的Clickhouse单表与分布式表性能PK实测结果显示，尽管有人声称单表查询无敌，但实际情况并非如此。单节点数据库的优势在于本地查询无网络IO消耗和避免数据shuffle，但随着数据量增大，单台机器的存储和硬件资源会成为瓶颈，查询效率降低。

创建分布式表：如果需要在指定逻辑集群的多个节点上创建表，NineData 提供一键创建分布式表的功能。同时，支持将本地表转换为分布式表，只需选择表引擎为 Distributed，并填写 sharding_key 即可。 保存并确认：执行保存并确认操作，即可将表结构更新至数据库。通过 SQL 窗口验证新建表语句的正确性。

检查容器内数据复制情况，验证副本作用。创建分布式表，通过指定参数配置表的存储方式。复制数据至容器内部，进入容器将数据写入分布式表中。写入完成后，查询不同分片上的数据条数，验证数据分布情况。不同分片的数据量不一致，但同一分片内的副本数据量相同，体现了clickhouse集群的分布式存储特性。