MySQL 8.0 OOM(Out Of Memory)问题优化
We'r VPS 发布于 2022-04-26
申请了一个免费的云主机,1核1G,准备搭建个人博客网站,也就是你现在看到的这个网站,后台数据库使用 MySQL 8.0.17 版本,在个人网站上线一段时间后,经常遇到MySQL 进程 OOM(Out Of Memory) 被杀掉,经过 …
阅读(469)评论(0)赞 (0)
We'r VPS 发布于 2022-04-26
申请了一个免费的云主机,1核1G,准备搭建个人博客网站,也就是你现在看到的这个网站,后台数据库使用 MySQL 8.0.17 版本,在个人网站上线一段时间后,经常遇到MySQL 进程 OOM(Out Of Memory) 被杀掉,经过 …
阅读(469)评论(0)赞 (0)
We'r VPS 发布于 2022-04-26
PostgreSQL 数据库中的表,有几个字段是系统字段,这些字段是隐藏的,在 psql 中使用 \d 命令不会显示这些字段。用户在定义表结构时,字段名称不能与这些系统隐藏字段相同。 隐藏字段如下: oid,行对象标 …
阅读(501)评论(0)赞 (0)
We'r VPS 发布于 2022-04-26
一、什么是咨询锁? PostgreSQL 支持创建咨询锁(advisory lock),该锁与数据库本身没有关系,其含义由应用来定义,咨询锁能够让 PostgreSQL 变成一个锁服务提供中心,为应用对一些非数据库资源并发访问提 …
阅读(312)评论(0)赞 (0)
We'r VPS 发布于 2022-04-26
公众号看到一篇关于 MySQL 元数据锁(metadata lock,简称MDL)的文章,觉得不错,转载分享一下。 原文地址:https://mp.weixin.qq.com/s/oWi-BX7zkkLrukknVHu1XQ 标题: 一步步搞懂MySQL元数据锁(MDL) &h...
阅读(389)评论(0)赞 (0)
We'r VPS 发布于 2022-04-26
etcd 是一个分布式的 kv 数据库,除了基本的数据读写功能之外,还提供事务写,watch,租约,分布式锁等功能,下面简单介绍这些功能的使用方法。 1. 读写etcd 1.1 写入数据 ENDPOINTS=192.168.56.200:2379 e …
阅读(393)评论(0)赞 (0)
We'r VPS 发布于 2022-04-26
etcd 集群搭建完成之后,默认条件下,访问 etcd 是没有用户和密码限制的,任何人只要能连接到 etcd 的 2379 端口,就可以读写 etcd 数据,这就存在安全问题。etcd 支持用户身份认证,但是该功能默认是关闭 …
阅读(425)评论(0)赞 (0)
We'r VPS 发布于 2022-04-26
上一篇文章 《etcd源码编译安装》介绍了 etcd 源码编译的过程,etcd 源码编译后,生成了两个可执行文件,etcd 和 etcdctl,其中 etcd 是服务端程序,etcdctl 是客户端程序。有了这两个程序文件,就能够搭建 …
阅读(414)评论(0)赞 (0)
We'r VPS 发布于 2022-04-26
etcd 是一个开源的分布式 kv 存储,本文简单介绍 linux 环境下源码编译安装 etcd。 环境: CentOS 7.2 go v1.13及以上版本,如果 go 版本较低,需要先升级 go 版本。参考:Linux源码编译安装高版本go语言开 …
阅读(358)评论(0)赞 (0)
We'r VPS 发布于 2022-04-26
MySQL 通常使用开源工具 Xtrabackup 进行物理备份,备份过程中不会影响正常业务的写入,但是是否会阻塞 DDL 操作呢?或者 DDL 操作是否会导致 Xtrabackup 备份失败?下面通过实例测试来看一下。 MySQL 版本 …
阅读(362)评论(0)赞 (0)
We'r VPS 发布于 2022-04-26
1. XID_EVENT 是什么? MySQL Binlog 文件由 event 组成,event 有不同的类型,本文介绍的 XID_EVENT 表示一个事务的提交操作。 举个例子,执行一条事务,然后查看这个事务生成的 Binlog event,如下: 事 …
阅读(390)评论(0)赞 (0)
We'r VPS 发布于 2022-04-26
MySQL 通过 Binlog 进行主从数据的复制,Binlog 由多种不同类型的 event 组成,本文简单介绍 event 类型为 HEARTBEAT_LOG_EVENT 的结构。 本文涉及的源码版本 MySQL Server 5.7.19 1. HEARTBEAT_LOG_...
阅读(473)评论(0)赞 (0)
We'r VPS 发布于 2022-04-26
etcd 是一个开源的分布式 key-value 键值存储数据库,使用 go 语言开发,其采用 raft 一致性算法来管理集群节点的复制日志。 etcd 源码地址: https://github.com/etcd-io/etcd etcd 特点: 使用简单,拥有 …
阅读(369)评论(0)赞 (0)
We'r VPS 发布于 2022-04-26
keepalived+lvs 是比较常用的一种架构,它能够很容易地实现高可用和负载均衡,在互联网公司使用较为广泛,适用于 web ,ftp,缓存,数据库等多种场景。 一、keepalived keepalived 官方网站:https://www.k …
阅读(317)评论(0)赞 (0)
We'r VPS 发布于 2022-04-26
在公司内部办公网络环境下,通常浏览器通过代理访问公网,如果我们自己创建的虚拟机,比如 virtual box 或者 vmware 创建的 Linux 虚拟机,要想能够联网的话,就需要手动为其设置 http 和 https 代理。 1. …
阅读(433)评论(0)赞 (0)
We'r VPS 发布于 2022-04-26
etcd 是一个分布式的 key-value 键值数据库,和其他数据库一样,etcd 集群也需要定期进行备份,以防在故障场景下出现数据丢失。当集群故障,数据丢失,就可以使用备份进行恢复,将损失降到最低。 etcd 通常 …
阅读(371)评论(0)赞 (0)
We'r VPS 发布于 2022-04-26
1. Linux 引入透明大页的背景 随着计算需求规模的不断增大,应用程序对内存的需求也越来越大。为了实现虚拟内存管理机制,操作系统对内存实行分页管理。自内存“分页机制”提出之始,内存页面的默认大小便被 …
阅读(418)评论(0)赞 (0)
We'r VPS 发布于 2022-04-26
1. 参数说明 back_log 参数可以理解为 MySQL 缓存的尚未处理的连接数量,当 MySQL 在短时间内收到非常多的请求时,一时间处于不过来时,这个参数就会起到非常重要的作用。 MySQL 主线程在会花费一些时间来 …
阅读(353)评论(0)赞 (0)
We'r VPS 发布于 2022-04-26
1. 背景 业务要实现一个只读数据源的需求,并且具有高可用特性。MySQL 主从复制,1主2从,只读数据源默认连接到从库,两个从库负载均衡。其中一个从库挂了,流量全部打到另外一个从库。两个从库都挂了,流 …
阅读(422)评论(0)赞 (0)
We'r VPS 发布于 2022-04-26
看到一篇关于 MySQL InnoDB 表碎片的文章,觉得不错,转载如下,原文地址: https://www.cnblogs.com/wy123/archive/2020/03/22/12535644.html 网络上有很多 MySQL 表碎片整理的问题,大多数是通过 demo ...
阅读(436)评论(0)赞 (0)
We'r VPS 发布于 2022-04-26
PostgreSQL 支持表继承,首先定义一个父表,然后使用关键字 INHERITS 定义一个子表,子表继承父表的所有字段定义。 定义一个父表: create table parent(id int, name varchar(50)); 定义一个子表,从 pare &helli...
阅读(390)评论(0)赞 (0)
We'r VPS 发布于 2022-04-26
ClickHouse 是一款高效、快速、开源的 OLAP 数据库管理系统。它基于列存,能够使用 SQL 查询实时生成分析报告。 官方网站: https://clickhouse.tech/ 源码地址: https://github.com/ClickHouse/ClickHous...
阅读(395)评论(0)赞 (0)
We'r VPS 发布于 2022-04-26
通过设计表结构来最小化磁盘空间占用,能够减少磁盘数据的读写,实现性能提升。较小的表通常需要更少的内存,这也意味着在查询时,表中数据能够被更快速地处理,表数据的缩减也会使得索引数据更小,索引查 …
阅读(378)评论(0)赞 (0)
We'r VPS 发布于 2022-04-26
随着数据量的增长,MySQL 单表数据越来越大,单个机器的磁盘空间不足以存储那么大的数据,此时通常会采用分库分表技术,将单表数据按某种规则分割到多个表中。分库分表可能导致的一个结果是库里同时存在很 …
阅读(423)评论(0)赞 (0)
We'r VPS 发布于 2022-04-26
业务进行 MySQL 性能压测,在压测过程中遇到 thread running 过高的告警,经过排查,cpu,io,内存,网络等监控指标并没有显著的异常,而抓取 processlist,发现大量 SQL 执行处于 opening tables 和 closi …
阅读(371)评论(0)赞 (0)
We'r VPS 发布于 2022-04-26
1. Background Worker 简介 PostgreSQL 提供了一种叫作后台工作进程(Background Worker)的特性,用来在独立的进程中执行用户提供的代码,入口函数可以是 pg 内核源码中的函数,也可以是动态库中的函数。 …
阅读(393)评论(0)赞 (0)
We'r VPS 发布于 2022-04-26
PostgreSQL 支持 create extenstion 语法创建扩展,扩展能够很方便地将第三方开发的插件集成到 PostgreSQL 数据库中,比如时序数据库 timescaledb 就是作为 PG 的一个扩展集成到数据库系统中,让 PG 能够支 …
阅读(416)评论(0)赞 (0)
We'r VPS 发布于 2022-04-26
PostgreSQL 支持安装扩展(extension),有些扩展的安装,需要在配置文件 postgresql.conf 中提前配置,并在 PG 主程序启动时提前加载,比如 timescaledb,如下: shared_preload_libraries = 'timescale...
阅读(389)评论(0)赞 (0)
We'r VPS 发布于 2022-04-26
本文主要介绍了 MySQL InnoDB 支持的四种事务隔离级别,围绕隔离级别,解释了脏读,不可重复读,以及幻读的概念。 1. MySQL 支持的四种隔离级别 隔离性 isolation (I) 是事务 ACID 四种属性中的一种,它定 …
阅读(375)评论(0)赞 (0)
We'r VPS 发布于 2022-04-26
生产环境 MySQL 机器使用备份恢复后,无法启动,报错信息为系统表 mysql.user 损坏,经过排查,发现是 MySQL 5.7 版本的一个 Bug。当 MySQL 启动时,如果 read_only 参数设置为 ON,此时如果系统表,比如 m …
阅读(391)评论(0)赞 (0)
We'r VPS 发布于 2022-04-26
MySQL Group Replication(MGR)组复制支持单主模式和多主模式,本文简单介绍单主模式下,选举新主节点的不同方法。 在 8.0.2 版本之前,主节点选举是基于节点的 UUID 编号,在一次故障切换过程中,最小的 …
阅读(398)评论(0)赞 (0)