HMS 服务上一些基础信息

获取表/分区最后变更时间 https://stackoverflow.com/questions/41468759/how-can-i-find-last-modified-timestamp-for-a-table-in-hive 1 2 3 4 time_column=`beeline --hivevar db=hiveDatabase --hivevar tab=hiveTable --silent=true --showHeader=false --outputformat=tsv2 -e 'show create table ${db}.${tab}' | egrep 'transient_lastDdlTime'` time_value=`echo $time_column | sed 's/[|,)]//g' | awk -F '=' '{print $2}' | sed "s/'//g"` tran_date=`date -d @$time_value +'%Y-%m-%d %H:%M:%S'` echo $tran_date Spark 介绍的 desc EXTENDED 语法 https://spark.apache.org/docs/3.0.0/sql-ref-syntax-aux-describe-table.html 获取表最后变更

Flink Connector 组件功能学习与测试

挑选安装版本跳过 下载 Flink 安装包 将 Flink Connector 放到 Flink/lib 目录中 配置 java 环境后,启动 Flink 单机服务 使用 Flink sql 链接该 Flink 服务,当客户端退出后任务失效 提交方式 任务执行方式 Flink

StarRocks BE 进程内存线程占用比例

通过访问 BeIP:8040/mem_tracker 获取当前 BE 进程内部各项内存项的瞬间使用。 大致如下图所示,以下各项工作可查看内存管理文档来了解各项指标的参数、百分比 或者通过以下方式

Docker - MySQL SSL & Binlog

0x00 init 测试要求:需要 MySQL 开启 SSL 与 ROW format Binlog 功能 0x01 Docker command // 忽略安装 docker-ce 步骤 搜索网络资料,使用以下命令方式启动:「Docker 指定 –ssl=1 参数时,docker 内已

TiDB - PD Region Merge 食草兽

0x00 开始 Region Merge 是否要开启 观察 pd dashboard 中 region health 中 empty-region-count 信息; 如该数值大于 store * 100 ,建议开启 Region Merge 如该数值大于 store * 1000 ,建议调整 Region Merge 阈值「或者检查是否开启了 Region Mer

九死一生 - 运维小技巧

0x00 陷入江局 回顾下前两篇文档 《纸上谈兵 - TiDB 性能调优》& 《沙盘点将 - TiDB 监控知识初始化》;处理问题的时候从总是一脸懵逼到偶尔无证懵逼;然后

TiDB - Backup/Restore 测试

0x00 BR Backup & Restore(以下简称 BR)是 TiDB 分布式备份恢复的命令行工具,用于对 TiDB 集群进行数据备份和恢复。相比 mydumper/loader,B

软件测试 - S3 协议与 minio

0x00 S3 S3(Amazon Simple Storage Service (Amazon S3))着重于简易性和稳健性的最小功能集【具体信息跳转到 亚马逊 S3 技术介绍页面】: 创建存储桶 – 创建和命名存储数据

TiDB - CDC RC1 测试

0x00 CDC 嗯,同场竞技 Binlog 与 CDC 组件 本页内容仅针对 v4.0.0-rc.1-25 版本,不对后续版本做任何预测性的评论 // 最终解释权归制图者 参考各种文档 官网文档 安装部署 Github Repo TiCDC Improve usability in cdc

TiDB - 4.0 版图分析

0x00 History TiDB 1.0 2017 年 10 月 16 日 TiDB 2.0 2018 年 4 月 27 日 TiDB 2.1 2018 年 11 月 30 日 TiDB 3.0 2019 年 6 月 28 日 TiDB 3.1 2020 年 4 月 16 日 TiDB 4.0 2020 年 5 月 28 日 0x01 4.0 没有故事可讲,看图吧 根据上一篇文档 TiDB

TiDB 4.0 -- keyvis-diagnostics

0x00 KeyVis 不介绍这个功能来历了,贴点资料大家看下开心阅读 Cloud Bigtable【官方提供多国语言】 Key Visualizer 概览 Key Visualizer 使用入门 Key Visualizer 探索热图 Key Visualizer 热图模式 Key Visualizer 指标

监控组件 - Provisioning Grafana

0x00 话不多说 Grafana 用于 TiDB-cluster 集群监控展示功能(如果不了解的同学可以看下以前的文档),如果每套集群都部署一个 Grafana,使用不方便且运维也繁琐。因此

TiDB 4.0 新特性

0x00 Live 最近几周 TiDB 官方搞了好多次直播,一直在宣传 TiDB 4.0 版本的新特性,本文汇总下 4.0 特色功能;数据来源于 TiDB bilibili 直播、官网文档、用户微信群、公众号等几个地