clickhouse配完副本无法启动

1、副本文件损坏。ClickHouse是俄罗斯的Yandex于2016年开源的用于在线分析处理查询（OLAP：OnlineAnalyticalProcessing）MPP架构的列式存储数据库。clickhouse软件的副本文件发生损坏，在配置完后导致系统本身的文件也损坏，需要用户从新下载软件和副本再从新配置即可。

2、集群中一个CK节点，因服务器电压不稳意外重启后，CK启动失败，一直报错：查找官方文档中，在 Data Replication 说明这里，提到了故障恢复方法：注意这里flage目录可以是你安装时指定的具体clickhouse根目录。然后重启CK服务，CK会从另外一个备份中恢复数据。

3、部署为3个节点的集群，数据无副本。单机则不需要配置metrika.xml文件即可。主要配置服务端口、ip、文件存储目录，系统配置、zk配置等参数。本文不涉及zk配置。并且开启query_log，方便后期做监控。文件中注释很详细，根据需要配置即可。集群配置、压缩算法配置。本示例集群名为default_cluster，可定义多个。

4、DETACH会使表 脱离clickhouse的管理 ，源表依然可以读写操作，但是备份前的 数据 已经完全脱离clickhouse管理，将数据文件移动到对应分区的detached目录，然后使用 attach 同样可以将表再次交付给clickhouse管理。 注意：必须要在主副本上执行 alert table xxx DETACH PART or PARTITION 。

5、但是效果不是很明显。 查询能力上，冷数据查询，两者相差不大。热数据方面，ZSTD为 884s ，而LZ4为 150s 。ZSTD查询时间在 37倍 以上，LZ4的查询能力更强。 综上所述，建议使用LZ4。

ClickHouse删除大表报错处理方法

1、这个是ClickHouse保护大表被误删的动作，有两个方法可以解除这个限制。意思是删除大于50G的表都会提示无法删除，设置为0的就不会报告警提示。

2、系统bug，网络问题。系统bug是clickhouse软件系统出现了问题导致执行doinst.sh报错非法指令，等待官方修复即可。网络问题是自身设备连接的网络出现较大波动，导致clickhouse软件执行doinst.sh报错非法指令，更换网络重新打开即可。

3、业务方数据在出现错误后需要重跑数据，由于业务方没有使用MergeTree的折叠表，需要删除旧的数据后，再重新跑数据写入新的正确的数据。之前这种模式一直运转的比较好，没有出现过问题，不过近期发现，对该表发起Alter语句时，出现了ZK Connection Loss的错误，但是对其他的表发起Alter语句没有出现相同的错误。

4、可以将clickhouse改为Nullable。可以将非空类型改成Nullable，String，但是要注意Nullable字段不允许用于orderby。clickhouse启动的时候总是无法绑定端口才会报错canotunlinkfile，只要修改成Nullable即可。

5、开发环境运行正常的程序在测试程序一直运行不了，提示kafka引擎表不能正常工作。我们ClickHouse版本是3。发现kafka引擎报错提示字段不存在，我们的业务流程是kafka引擎表---ods层---dws层。其中引擎表--ods，ods到dws都是通过物化视图来进行数据预处理。

6、上文提到 MergeTree 表引擎无法对相同主键的数据进行去重，ClickHouse提供了ReplacingMergeTree引擎，可以针对相同主键的数据进行去重，它能够在合并分区时删除重复的数据。值得注意的是， ReplacingMergeTree 只是在一定程度上解决了数据重复问题，但是并不能完全保障数据不重复。

clickhouse数据压缩对比

1、ClickHouse抛开高效的SQL执行效率，数据压缩比率也是一个非常喜人的地方。使用Hadoop Node低配置服务器，再加上ClickHouse优秀的压缩性能，单机容量轻松可达几十T，推荐直接使用默认的LZ4压缩方式，用可以接受的少量空间来换查询执行效率的提升。

2、原理 ClickHouse默认使用LZ4压缩格式。当数据类型不同，ClickHouse支持字段级别的压缩格式，可以使用不同的CODEC，更好的标识数据类型，理论上可以提高性能。 测试2种压缩codec：（2）结论： 写入、压缩、查询没有明显变优，甚至有些方面弱于默认LZ4 。构造自己要用的数据。

3、ClickHouse留存分析工具十亿数据秒级查询方案 高效压缩位图RoaringBitmap的原理与应用 留存函数（retention）一般来说，求留存率的做法就是两天的用户求交集，join的速度会比较慢。

4、深度解析：Hologres与ClickHouse：一场数据处理领域的较量在大数据处理的世界里，Hologres与ClickHouse这两款数据库系统犹如璀璨的星河，各自散发着耀眼的光芒。让我们聚焦在这场技术较量中，探索它们的独特之处和适用场景。

5、ClickHouse。ClickHouse有很多优点写入速度快，50-200M/S，对于大量的数据更新非常实用。数据压缩空间大，减少IO，处理查询高吞吐量，每台服务器秒级数十亿行。查询快，比Vertica快5倍，比GP快10倍，比HIVE快200倍，比MYSQL快800倍。

6、适合的场景也是比较固定的，场景清晰的地方。ClickHouse Clickhouse由俄罗斯yandex公司开发。专为在线数据分析而设计。Clickhouse最大的特点首先是快 ，为了快采用了列式储存，列式储存更好的支持压缩，压缩后的数据传输量变小，所以更快；同时支持分片，支持分布式执行，支持SQL。

clickhouse-部署详解

部署为3个节点的集群，数据无副本。单机则不需要配置metrika.xml文件即可。主要配置服务端口、ip、文件存储目录，系统配置、zk配置等参数。本文不涉及zk配置。并且开启query_log，方便后期做监控。文件中注释很详细，根据需要配置即可。集群配置、压缩算法配置。本示例集群名为default_cluster，可定义多个。

clickhouse支持与多种存储引擎集成，可以从集成的引擎里面读取消息，然后写到真正的数据存储表里。

与Elasticsearch写入类似，通过Logstash的ClickHouse插件，订阅Kafka中的数据并写入CH中。其中，ClickHouse插件调用HTTP接口完成数据写入。

而MergeTree系列表引擎是官方主推的存储引擎，支持几乎所有ClickHouse核心功能。 MergeTree在写入一批数据时，数据总会以数据片段的形式写入磁盘，且数据片段不可修改。为了避免片段过多，ClickHouse会通过后台线程，定期合并这些数据片段，属于相同分区的数据片段会被合成一个新的片段。

ClickHouse比Vertica约快5倍，MySQL和Hive已经无法完成任务了。 功能多 ClickHouse支持数据统计分析各种场景：支持类SQL查询；支持繁多库函数（例如IP转化，URL分析等，预估计算/HyperLoglog等）；支持数组（Array）和嵌套数据结构（Nested Data Structure）；支持数据库异地复制部署。

在实践中，它是一组和应用服务部署在一起的轻量级的网络代理，对应用服务透明。这段话有点晦涩难懂，但只要抓住下面 4 个关键点就能轻松理解： 本质：基础设施层 功能：请求分发 部署形式：网络代理 特点：透明 如果用一句话来总结，我个人对它的定义是：Service Mesh 是一组用来处理服务间通讯的网络代理。