如何定时清理过期数据库

一只会飞的鱼儿 1月前 ⋅ 424 阅读
ad

一、脚本清理

要在ClickHouse中自动删除过期的数据库,你可以使用ClickHouse的SQL命令结合外部脚本(如Shell脚本)和计划任务(如cron)来实现。下面是一个示例,展示如何创建一个Shell脚本来检查数据库的创建时间,并根据设定的时间阈值来删除过期的数据库。

步骤 1: 创建 Shell 脚本

首先,创建一个Shell脚本,用于检查ClickHouse中的数据库,并根据创建时间来删除过期的数据库。

示例脚本

创建一个名为 delete_expired_databases.sh 的文件,并添加以下内容:

#!/bin/bash

# 设置要检查的数据库前缀
DATABASE_PREFIX=my_database_
# 设置过期时间(天)
EXPIRATION_DAYS=30

# 获取当前时间戳
CURRENT_TIME=$(date +%s)

# 获取所有符合前缀的数据库
DATABASES=$(clickhouse-client --query "SELECT name FROM system.databases WHERE name LIKE '$DATABASE_PREFIX%'")

# 遍历数据库
for DB in $DATABASES; do
    # 获取数据库的创建时间
    CREATE_TIME=$(clickhouse-client --query "SELECT created_at FROM system.databases WHERE name = '$DB'")
    
    # 计算时间差
    TIME_DIFF=$(( ($CURRENT_TIME - $(date -d "$CREATE_TIME" +%s)) / 86400 ))
    
    # 检查是否过期
    if [ $TIME_DIFF -gt $EXPIRATION_DAYS ]; then
        echo "Database $DB is expired. Deleting..."
        clickhouse-client --query "DROP DATABASE IF EXISTS $DB"
    fi
done

步骤 2: 给脚本添加执行权限

确保脚本具有执行权限:

chmod +x delete_expired_databases.sh

步骤 3: 定期执行脚本

你可以使用Linux的cron来定期执行这个脚本。例如,如果你想每天凌晨2点执行这个脚本,可以将以下行添加到crontab

用crontab -e 来编辑文件

检查是否安装了crontab命令

rpm -qa | grep crontab

如果提示未安装请自行安装,crontab安装包在系统光盘里面的pacekage文件夹crontabs安装包。执行命令,如下图所示,表示安装了crontab命令

第一次要选择linux编辑crontab方式,一般选择第二个

root@iZuf682dbngh2ck4cq9kluZ:/home/yulei# crontab -e
no crontab for root - using an empty one

Select an editor.  To change later, run 'select-editor'.
  1. /bin/nano        <---- easiest
  2. /usr/bin/vim.basic
  3. /usr/bin/vim.tiny
  4. /bin/ed

Choose 1-4 [1]: 2
crontab: installing new crontab

添加cron定时任务

0 2 * * * /path/to/delete_expired_databases.sh

二、JAVA代码定时任务清理机制

1、查询过期的数据库

         Class.forName("ru.yandex.clickhouse.ClickHouseDriver");
            //一开始必须填一个已经存在的数据库
            String jdbcUrl = "jdbc:clickhouse://ip:8123/default";
            ClickHouseProperties properties = new ClickHouseProperties();
            properties.setUser("default");
            properties.setPassword("");
            properties.setSocketTimeout(30000);
            ClickHouseDataSource dataSou = new ClickHouseDataSource(jdbcUrl, properties);//这是官方给的创建方式
            ClickHouseConnection conn = dataSou.getConnection();
            ClickHouseStatement stat = conn.createStatement();
            ResultSet rs= stat.executeQuery("SELECT name FROM system.databases WHERE name LIKE 'webfunny_db_%'");
            while(rs.next()) {
                String dbName = rs.getString("name");
                if(dbName.contains("_")){
                    String dbNameNew = dbName.substring((dbName.lastIndexOf("_") + 1), dbName.length());//20240222152127819
                    String thirdDaysDate = DateUtil.getTimeStampByDays(30);
                    if (FebsUtil.match("\\-?\\d+", dbNameNew) && Long.parseLong(dbNameNew) < Long.parseLong(thirdDaysDate)){
                        deleteCHDbNameList.add(dbName);
                    }
                }
            }
            //打开创建的数据库
            stat.close();
            conn.close();

2、清理过期的数据库

           
         Class.forName("ru.yandex.clickhouse.ClickHouseDriver");
            //一开始必须填一个已经存在的数据库
            String jdbcUrl = "jdbc:clickhouse://ip:8123/default";
            ClickHouseProperties properties = new ClickHouseProperties();
            properties.setUser("default");
            properties.setPassword("");
            properties.setSocketTimeout(30000);
            ClickHouseDataSource dataSou = new ClickHouseDataSource(jdbcUrl, properties);//这是官方给的创建方式
            ClickHouseConnection conn = dataSou.getConnection();
            ClickHouseStatement stat = conn.createStatement();
            for (String dbName : deleteCHDbNameList) {
                stat.execute("DROP DATABASE IF EXISTS " + dbName);
            }
            //打开创建的数据库
            stat.close();
            conn.close();

注意事项

  1. 备份数据:在执行任何删除操作之前,请确保你已经备份了重要数据。
  2. 测试脚本:在生产环境中执行任何脚本之前,请务必在测试环境中彻底测试。
  3. 权限管理:确保执行脚本的用户有足够的权限来删除数据库。
  4. 监控和日志:设置适当的监控和日志记录,以便追踪删除操作的状态和结果。

关于Webfunny

Webfunny专注于前端监控系统,前端埋点系统的研发。 致力于帮助开发者快速定位问题,帮助企业用数据驱动业务,实现业务数据的快速增长。支持H5/Web/PC前端、微信小程序、支付宝小程序、UniApp和Taro等跨平台框架。实时监控前端网页、前端数据分析、错误统计分析监控和BUG预警,第一时间报警,快速修复BUG!支持私有化部署,Docker容器化部署,可支持千万级PV的日活量!

  点赞 0   收藏 0
  • 一只会飞的鱼儿
    共发布51篇文章 获得8个收藏
全部评论: 0