外部表自动加载（Auto Load）
DLF Default Catalog 为DLF Default Catalog下 dlf_db 数据库设置自动加载，设置后会将该数据库中的全部表自动创建为Hologres外部表。同时系统会根据 hg_experimental_load_all_foreign_table_interval_time 配置的周期性巡检时间，自动...
通过脚本模式配置离线同步任务
关系型数据库配置切分键 定义将源端待同步数据基于源端哪一个字段进行切分，同步任务执行时将根据该字段切分为多个task，以便并发、分批读取数据。说明 推荐splitPk用户使用表主键，因为表主键通常情况下比较均匀，因此切分出来的分片也不...
DB2数据源
否 无 fetchSize 该配置项定义了插件和数据库服务器端每次批量数据获取条数，该值决定了数据同步系统和服务器端的网络交互次数，能够较大的提升数据抽取性能。说明 fetchSize 值过大（>2048）可能造成数据同步进程OOM。否 1024 Writer脚本...
ListDatabaseAccounts-获取数据库账户列表
每页默认显示的数据条数为 20 条，PageSize 参数值为空时，将默认返回 20 条数据。说明 建议 PageSize 取值不要为空。20 DatabaseAccountName string 否 指定要查询的数据库账户名称。最多支持 128 字符，仅支持精确查询。test 返回参数 ...
GetDatabaseProfile-获取库数据概况
获取库数据概况的详细信息。接口说明 使用数据概况需要先将该库的 OSS Bucket 进行 Location 托管。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 ...
配置Teradata输入组件
批量条数 配置数据同步时，每条并发SQL语句读取数据的条数，默认的批量条数为1024。输入过滤 配置抽取数据的筛选条件，配置说明如下：配置固定值，抽取对应的数据，例如 ds=20210101。配置变量参数，抽取某一部分数据，例如 ds=${bizdate}...
配置Teradata输入组件
批量条数 配置数据同步时，每条并发SQL语句读取数据的条数，默认的批量条数为1024。输入过滤 配置抽取数据的筛选条件，配置说明如下：配置固定值，抽取对应的数据，例如 ds=20210101。配置变量参数，抽取某一部分数据，例如 ds=${bizdate}...
ClickHouse数据源
是 无 fetchSize 该配置项定义了插件和数据库服务器端每次批量数据获取条数，该值决定了数据同步系统和服务器端的网络交互次数，能够提升数据抽取性能。说明 fetchSize值过大会造成数据同步进程OOM，需要根据ClickHouse负载情况递增。否 1,...
数据管理的审计事件
ListDatabases 获取实例的数据库详情列表。ListDatabaseUserPermssions 展示具备指定数据库权限的用户权限详情。ListDataCorrectPreCheckDB 获取数据变更预检查DB列表。ListDataCorrectPreCheckSQL 获取数据变更预检查SQL详情列表。...
配置ClickHouse输入组件
批量条数 配置数据同步时每条并发SQL语句读取数据的条数，默认的批量条数为1024。输入过滤 配置抽取数据的筛选条件。详细配置说明如下：配置固定值，用于抽取对应的数据，例如 ds=20211111。配置变量参数，用于抽取某一部分的数据，例如 ds...
数据加工仪表盘
投递日志数占比：成功投递到目标Logstore的日志条数占源Logstore读取到日志条数的比例。加工速率 加工速率用于统计每分钟窗口内，数据加工处理的日志条数。accept：从源Logstore的各个shard中读到的日志条数。dropped：从源Logstore的各个...
配置Oracle输入组件
批量条数 配置数据同步时，每条并发SQL语句读取数据的条数，默认的批量条数为1024。编码方式 选择读取数据的编码方式。Dataphin支持选择的 编码方式 包括 UTF-8、GBK 和 ISO-8859-1。输入过滤 配置抽取数据的筛选条件。详细配置说明如下：...
全增量实时同步至Hologres
配置区域 参数 说明 读端配置 离线任务源端最大连接数 支持您通过该参数控制当前同步方案所产生的所有离线子同步任务可占用的源端数据库连接数，即同一时间内，当前同步解决方案所产生的所有离线子同步任务读取数据库的并发数上限。...
TOP Objects
在页面右侧选择 数据库名称、刷新间隔、排序方式、显示条数 并打开 自动刷新 右侧的开关即可。页面介绍 TOP Objects总览：查看整个页面数据的最后更新时间和对整个页面数据进行控制。详细参数说明如下。表 1.TOP Objects总览参数说明 参数 ...
性能参数表
PolarDBLongSQL 返回的参数和含义如下：mean_one_second_executing_sqls：执行超过1秒的SQL条数。mean_three_seconds_executing_sqls：执行超过3秒的SQL条数。mean_five_seconds_executing_sqls：执行超过5秒的SQL条数。db.slow_sql.one_...
性能参数表
PolarDBLongSQL 返回的参数和含义如下：mean_one_second_executing_sqls：执行超过1秒的SQL条数。mean_three_seconds_executing_sqls：执行超过3秒的SQL条数。mean_five_seconds_executing_sqls：执行超过5秒的SQL条数。db.slow_sql.one_...
性能参数表
PolarDBLongSQL 返回的参数和含义如下：mean_one_second_executing_sqls：执行超过1秒的SQL条数。mean_three_seconds_executing_sqls：执行超过3秒的SQL条数。mean_five_seconds_executing_sqls：执行超过5秒的SQL条数。db.slow_sql.one_...
性能参数表
PolarDBLongSQL 返回的参数和含义如下：mean_one_second_executing_sqls：执行超过1秒的SQL条数。mean_three_seconds_executing_sqls：执行超过3秒的SQL条数。mean_five_seconds_executing_sqls：执行超过5秒的SQL条数。db.slow_sql.one_...
Vertica数据源
否 无 fetchSize 该配置项定义了插件和数据库服务器端每次批量数据获取条数，该值决定了数据集成和服务器端的网络交互次数，能够较大地提升数据抽取性能。说明 fetchSize 值过大（>2048）可能造成数据同步进程OOM。否 1,024 Writer脚本Demo...
配置AnalyticDB for PostgreSQL输入组件
批量条数 配置数据同步时，每条并发SQL语句读取数据的条数，默认的批量条数为1024。输入过滤 配置抽取数据的筛选条件。详细配置说明如下：配置固定值，抽取对应的数据，例如 ds=20210101。配置变量参数，抽取某一部分数据，例如 ds=${...
数据投递仪表盘
读Logstore与写目标速率 统计每分钟窗口内，读取源Logstore各个Shard中的日志条数与写入目标云产品的日志条数。日志详情 在 详情日志 区域，查看已投递的日志详情。您也可以在当前Project下的 internal-export-log 日志库中，通过关键词...
查询报错问题
判断select的列是否都有必要获取，因为一个SQL可scan的数据条数=系统默认值/select的列数，若列数减少则可scan的数据条数更多。若SQL自身无法进行优化，但依旧触发该错误，可联系分析型数据库MySQL版技术支持对单个分析型数据库MySQL版的...
配置SAP HANA输入组件
批量条数 每个并发SQL语句读取数据的条数。默认的批量条数为1024。输入过滤 填写输入字段的过滤信息，例如 ds=${bizdate}。输入过滤 适用于以下两种场景：固定的某一部分数据。参数过滤。输出字段 输出字段区域展示了已选中表的所有字段。...
配置GoldenDB输入组件
批量条数 每个并发SQL语句读取数据的条数。输入过滤 填写输入字段的过滤信息，例如ds=${bizdate}。输入过滤 适用于以下两种场景：固定的某一部分数据。参数过滤。输出字段 输出字段区域展示了已选中表的所有字段。如果不需要将某些字段输出...
日志报表
说明 由于相同地区的 PolarDB-X 1.0 数据库的审计日志均写入日志服务同一个Logstore中，查看当前 PolarDB-X 1.0 数据库的报表数据时，默认为您添加基于_topic_:drds_audit_log_实例 ID_数据库名 的过滤条件，表示查看当前数据库的数据。...
获取和配置数据库信息
本文以安装WordPress和织梦内容管理系统DedeCMS时配置数据库的界面为例，介绍获取和配置数据库信息的方法。背景信息 M享主机-M2（云）类型的云虚拟主机本身不自带数据库，通过本文方法查看数据库信息会显示为空。如果您需要使用数据库，...
离线同步数据质量排查
Reader插件连接具体的数据源头读取数据，并将数据放到内部缓冲队列，Writer插件从数据缓冲队列消费数据并将数据写出到目标存储中。由Reader插件和Writer插件完成具体的数据同步过程，同步插件会遵循数据源本身的数据读写协议，以及数据读写...
Golang
database="database_name"/数据库连接的超时时间。connectTimeout="10s")func main(){/打开数据库连接。url:=fmt.Sprintf("%s:%s@tcp(%s:%d)/s?timeout=s",user,password,host,port,database,connectTimeout)db,err:=sql.Open("mysql",url)...
离线同步日志分析
切分（拆分）任务 此阶段将源端待同步数据切分为多个task，以便并发、分批进行读取数据，切分规则如下：关系型数据库：按照您在界面配置时指定的切分键 splitPk，作为切分依据，将待同步数据切分为多个task，通过并发分批读取切分的task。...
数据集成概述
您可以在同步任务配置时，控制同步过程中是否允许脏数据产生，并且支持控制脏数据条数，即当脏数据超过指定条数时，任务失败退出。由于脏数据原因导致离线/实时任务失败，同步任务之前已经成功写入的数据并不会回滚撤销。数据集成为了提升...
设置连接保持
上述测试语句中的关键参数含义如下：db-driver：数据库引擎 mysql-host：数据库代理地址 tables：数据库中的表数量 table-size：每张表包含的记录条数 threads：并发度 time：测试时间，单位：秒 测试结果 在如下测试的运维场景中，RDS ...
ACL权限体系
以下列出AnalyticDB for MySQL 2.0的权限对象和各对象权限：Database（库），即 db_name.*或*（默认数据库），指定数据库或数据库上所有表/表组。TableGroup（表组），即 db_name.table_group_name 或 table_group_name，特定表组。Table...
巡检评分
数据库自治服务DAS（Database Autonomy Service）提供巡检评分功能，每天定时对所有数据库实例进行巡检评分，并且支持自主选择数据库实例和巡检时段，手动发起巡检评分，帮助您了解数据库实例的运行情况。前提条件 目标数据库实例如下：RDS...
获取集群的VPC网段IP
将数据从其他数据库导入 云数据库ClickHouse 时，需要将目标 云数据库ClickHouse 集群所在的VPC网段IP地址添加到源数据库的白名单中。本文介绍了如何获取 云数据库ClickHouse 集群所在的VPC网段IP地址。操作步骤 复制目标 云数据库...
日志报表
PolarDB-X 支持SQL审计与分析功能，依托日志服务，提供了运营中心、性能中心、安全中心等开箱即用的报表，方便您快速查看了解 PolarDB-X 数据库的执行状况、性能指标、潜在安全问题等情况。前提条件 已 开启SQL审计与分析 功能。注意事项 ...
ListDbfs-查询数据库文件系统列表
调用ListDbfs查询您已经创建的数据库文件系统列表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限...
GetDatabase
获取给定数据库信息 请求参数 名称 类型 是否必选 示例值 描述 Name String 是 db001 需要获取的数据库名称 返回数据 名称 类型 示例值 描述 Code String NO_SUCH_OBJECT 如果请求出错，则返回错误代码 DatabaseModel object 返回的数据库...
Query Profile介绍
ResultRows 所有SCAN执行节点输出记录条数总和。ResultBytes 所有SCAN执行节点读取的数据总量之和。Network 指标 说明 Bytes sent over network 所有Exchange执行节点传输的字节总数，对应BytesSent指标。Operator 单击Operator，可以在...
基本概念
您可以在使用前了解 云原生内存数据库Tair 的基本概念，从而更好地理解与使用 Tair 数据库。概念 说明 实例ID 每个实例对应一个用户空间，实例是使用 云原生内存数据库Tair 的基本单位。Tair 对单个实例根据不同的容量规格有不同的连接数、...
查看监控信息
云数据库 SelectDB 版 提供了丰富的性能监控数据，方便您查看和掌握集群的运行状态。监控指标通过Grafana仪表盘展示，并使用预设的PromQL查询语句。本文介绍如何在控制台查看集群监控信息。前提条件 已开通 应用实时监控服务ARMS...
- 产品推荐
- 这些文档可能帮助您