从根上理解ClickHouse到底快在哪里?

业余杂谈 herman 463浏览
公告:“业余草”微信公众号提供免费CSDN下载服务(只下Java资源),关注业余草微信公众号,添加作者微信:codedq,发送下载链接帮助你免费下载!
本博客日IP超过2000,PV 3000 左右,急需赞助商。
极客时间所有课程通过我的二维码购买后返现24元微信红包,请加博主新的微信号:codedq,之前的微信号好友位已满,备注:返现
受密码保护的文章请关注“业余草”公众号,回复关键字“0”获得密码
所有面试题(java、前端、数据库、springboot等)一网打尽,请关注文末小程序
视频教程免费领

ClickHouse到底牛逼在哪里?为什么比MySQL快831倍!

这两年 ClickHouse 非常的火,尤其是在大数据领域。

刚好这两天也有群友在群里说起 ClickHouse,这款来自俄罗斯 Yandex 的开源数据库产品性能屌爆了,宣称比 MySQL 快 831 倍。今天我们就扯一扯 ClickHouse 到底好在哪里?

Yandex

在开始之前,我们先说一下 Yandex 这家公司,他是俄罗斯的一家互联网巨头公司,虽然在国际上没什么名气,但在俄罗斯,他就是老大,是俄罗斯排名第一的搜索引擎公司。是和谷歌、百度一样的存在。ClickHouse 诞生于 2016 年,就是来自于 Yandex 公司。

老毛子在国际互联网上,虽然没有像中美这样具有统治地位的互联网公司,但是老毛子的一些开源软件的性能还是杠杠的。比如,大名鼎鼎的 Nginx,再比如我们今天要讨论的 ClickHouse,所以,ClickHouse 还是非常值得一学的。

ClickHouse

ClickHouse 主要用于在线分析处理查询(OLAP),能够使用 SQL 查询实时生成分析数据报告。

和我们常见的关系型数据库非常不同。比如,MySQL,Postgresql,SQL Server 等数据库采用的都是行式存储,而 ClickHouse 采用的确实列式存储。下面我们通过一个简单的例子,来比较它们的不同。

MySQL 行式存储

如上述表格所示,传统的 MySQL 数据库的每一行数据都是物理的存储在一起的。如果我要取 id 等于 10000 这一条数据的 name 列,那我就必须要把这一行数据读取出来,然后取 name 列。

再比如,下面的 SQL:

SELECT name FROM xttblog where id > 10000;

在众多的数据中,我只取一列,但我需要把每条数据都读取出来。

基于上面传统数据库的一些特点,ClickHouse 另辟蹊径,推出了列式存储。

ClickHouse列式存储

看上图的列式存储示例,完全和 MySQL 等数据库不同。当我执行下面的 SQL 时,查询效率非常的高!

SELECT name FROM xttblog where id > 10000;

由于 name 列的数据都存储在一起,因此效率大大的超过了传统的数据库。

行式存储和列式存储比较

除了逻辑上的不同,磁盘上的组织结构也大不一样。

行式存储和列式存储在磁盘上的组织结构

除了列式存储上的不同,ClickHouse 还有高效的数据压缩,默认使用LZ4算法,总体压缩比可达 8:1。ClickHouse 还采用了分布式多主架构提高并发性能,ClickHouse使读请求可以随机打到任意节点,均衡读压力,写请求也无需转发到master节点,不会产生单点压力。

ClickHouse 还有向量引擎,利用 SIMD 指令实现并行计算。对多个数据块来说,一次 SIMD 指令会同时操作多个块,大大减少了命令执行次数,缩短了计算时间。向量引擎在结合多核后会将 ClickHouse 的性能淋漓尽致的发挥出来。

ClickHouse 在索引上也有不同,采用了稀疏索引及跳数索引。同时还有很多 MergeTree,提供海量业务场景支持。

基于以上特点,ClickHouse 在包含 count、sum、group by、order by 等情况的查询对比,同等条件下,ClickHouse 的查询性能异常强悍,官网上的数据显示,是同等条件下 MySQL 的 831 倍。

MySQL VS ClickHouse 性能比较
ClickHouse 与 MySQL 的部分SQL查询效率对比

更多的对比数据,建议大家去官网上查看。

哎,又要内卷起来了。

业余草公众号

最后,欢迎关注我的个人微信公众号:业余草(yyucao)!可加作者微信号1:xmtxtt(5000人已满),微信号2:xttblog(5000人已满),微信号3:codedq(超3800)。备注:“1”,添加博主微信拉你进微信群。备注错误不会同意好友申请。再次感谢您的关注!后续有精彩内容会第一时间发给您!原创文章投稿请发送至532009913@qq.com邮箱。商务合作也可添加作者微信进行联系!

本文原文出处:业余草: » 从根上理解ClickHouse到底快在哪里?