数据流运维
您可以在数据流运维中心查看数据流的发布状态、发布详情、运行记录等。登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与开发（DTS）>数据集成>离线集成。单击数据流名称，进入数据流详情页面。单击画布右上方 前往运维。在数据流运维...
概览
操作类型取值说明：READ：对读数据的操作限流。WRITE：对写数据的操作限流。MIX：对读写数据同时进行的操作限流。DDL：对用户在表中的DDL操作限流。流量阈值取值说明：必须为整数，单位为CU。说明 CU（Capacity Unit）是读/写吞吐量的单位...
发布数据流
完成数据流的配置或变更后，您需要通过发布操作将最新的数据流发布，有效避免部分变更未经确认被直接发布。登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与开发（DTS）>数据集成>离线集成。单击数据流名称，进入数据流详情页面。可选：...
创建 MySQL 租户
在弹出框中填写租户信息：配置参数 说明 租户名称 tutorial_mysql 租户模式 选择 MySQL 模式 字符集 建议默认的 uft8mb4_general_ci，utf8mb4_general_ci 是一种 MySQL 数据库的字符编码集，其中 utf8mb4 表示 Unicode 字符集的 UTF-8 编码...
创建 MySQL 租户
创建 tutorial_mysql01 租户，在弹出框中填写租户信息：配置参数 说明 租户名称 tutorial_mysql01 租户模式 选择 MySQL 模式 字符集 建议默认的 uft8mb4_general_ci，utf8mb4_general_ci 是一种 MySQL 数据库的字符编码集，其中 utf8mb4 ...
流量诊断
读rt 毫秒（ms）不同分片读数据的平均响应时间。写rt 毫秒（ms）不同分片写数据的平均响应时间。Memstore Size MB 内存数据量。总请求数据量 KB/每秒 不同分片每秒的总请求数据量。读数据量 KB/每秒 不同分片每秒的读请求数据量。写数据量 ...
通过流引擎实现地理围栏监控
操作步骤 通过Lindorm-cli连接宽表引擎，并在宽表引擎中创建一张记录地理围栏数据的宽表，具体操作请参见 通过Lindorm-cli连接并使用宽表引擎。语句示例如下：CREATE TABLE route_table(route_id varchar,region geometry(polygon),/地理...
词法结构
要在这种情形下允许可读性更好的查询，本数据库提供了另一种被称为“美元引用”的方式来书写字符串常量。一个美元引用的字符串常量由一个美元符号（$）、一个可选的另个或更多字符的“标签”、另一个美元符号、一个构成字符串内容的任意...
FTP数据源
附录：脚本Demo与参数说明 附录：离线任务脚本配置方式 如果您配置离线任务时使用脚本模式的方式进行配置，您需要在任务脚本中按照脚本的统一格式要求编写脚本中的reader参数和writer参数，脚本模式的统一要求请参见 通过脚本模式配置离线...
迁移 PolarDB-X 2.0 数据库的数据至 OceanBase 数据库...
参数 描述 读取并发配置 该参数用于配置全量迁移阶段从源端读取数据的并发数，最大限制为 512.并发数过高可能会造成源端压力过大，影响业务。写入并发配置 该参数用于配置全量迁移阶段往目标端写入数据的并发数，最大限制为 512。并发数过...
Kafka数据源
字节流 字节流会被视为UTF8编码的字符串，被转换成字符串 text 字符串 UTF8编码字符串 布尔 转换为UTF8编码字符串"true"或者"false"时间/日期 yyyy-MM-dd HH:mm:ss格式UTF8编码字符串 数值 UTF8编码数值字符串 字节流 字节流会被视为UTF8...
RDS术语
备份 为保证数据的完整性和可靠性，数据库需要常规的自动备份来保障数据的可恢复性。更多信息，请参见 备份简介。本地SSD盘 指与数据库引擎位于同一节点的SSD盘。将数据存储于本地SSD盘，可以降低I/O延时。更多信息，请参见 存储类型。C ...
RDS术语
备份 为保证数据的完整性和可靠性，数据库需要常规的自动备份来保障数据的可恢复性。更多信息，请参见 备份简介。本地SSD盘 指与数据库引擎位于同一节点的SSD盘。将数据存储于本地SSD盘，可以降低I/O延时。更多信息，请参见 存储类型。C ...
产品简介
本文介绍什么是流数据服务Confluent（Confluent Data Streaming Services）。什么是Confluent Platform Confluent Platform 是一个全面的数据流企业级平台，使您能够以连续、实时的流形式轻松访问、存储和管理数据。Confluent 由 Apache ...
表详情
背景信息 DMS在表详情中引入表的元数据，可以让开发人员与业务人员更好地理解数据的上下游关系及其本身含义，减少理解数据的时间成本，精准定位需要查找的数据，提高开发与管理效率。元数据包括：技术元数据：表在库中的物理信息，包括所属...
RDS术语
备份 为保证数据的完整性和可靠性，数据库需要常规的自动备份来保障数据的可恢复性。更多信息，请参见 备份简介。本地SSD盘 指与数据库引擎位于同一节点的SSD盘。将数据存储于本地SSD盘，可以降低I/O延时。更多信息，请参见 存储类型。C ...
读CSV文件
组件配置 您可以通过以下任意一种方式，配置读CSV文件组件参数。方式一：可视化方式 在 Designer 工作流页面配置组件参数。页签 参数名称 描述 参数设置 文件来源 支持OSS和OTHERS。文件路径 读取CSV文件的路径：当 文件来源 选择 OSS 时，...
OSS数据源
}"否 无 column 读取字段列表，type指定源数据的类型，index指定当前列来自于文本第几列（以0开始），value指定当前类型为常量，不是从源头文件读取数据，而是根据value值自动生成对应的列。默认情况下，您可以全部按照String类型读取数据...
MySQL数据源
如果您配置离线任务时使用脚本模式的方式进行配置，您需要在任务脚本中按照脚本的统一格式要求编写脚本中的reader参数和writer参数，脚本模式的统一要求请参见 通过脚本模式配置离线同步任务，以下为您介绍脚本模式下的数据源的Reader参数...
PostgreSQL数据源
parameter":{"datasource":"abc","column":["id","\"123Test\"",/添加转义符],"where":"","splitPk":"id","table":"public.wpw_test"},实时读 数据集成实时同步任务存在如下约束与限制：数据集成对 ADD COLUMN 进行了特别支持：约束：ADD ...
RDS术语
备份 为保证数据的完整性和可靠性，数据库需要常规的自动备份来保障数据的可恢复性。更多信息，请参见 备份简介。本地SSD盘 指与数据库引擎位于同一节点的SSD盘。将数据存储于本地SSD盘，可以降低I/O延时。更多信息，请参见 存储类型。C ...
RDS术语
备份 为保证数据的完整性和可靠性，数据库需要常规的自动备份来保障数据的可恢复性。更多信息，请参见 备份简介。本地SSD盘 指与数据库引擎位于同一节点的SSD盘。将数据存储于本地SSD盘，可以降低I/O延时。更多信息，请参见 存储类型。C ...
什么是云数据库Redis版
支持String（字符串）、List（链表）、Set（集合）、Sorted Set（有序集合）、Hash（哈希表）、Stream（流数据）等多种数据结构，同时支持Transaction（事务）、Pub/Sub（消息订阅与发布）等高级功能。在社区版的基础上推出企业级内存数据...
MariaDB数据源
是 无 writeMode 选择导入模式，支持insert into、on duplicate key update和replace into 三种方式：insert into：当主键/唯一性索引冲突时会写不进去冲突的行，以脏数据的形式体现。如果您通过脚本模式配置任务，请设置 writeMode 为...
通过脚本模式配置离线同步任务
背景信息 数据集成离线同步，为您提供数据读取（Reader）和写入插件（Writer）实现数据的读取与写入，您可通过向导模式和脚本模式配置离线同步任务，实现源端单表同步至目标端单表、源端分库分表同步至目标端单表两类数据同步场景。...
基于DLF、RDS或Flink、OSS支持Delta Lake或Hudi存储...
Delta Lake和Hudi是数据湖方案中常用的存储机制，为数据湖提供流处理、批处理能力。MaxCompute基于阿里云DLF、RDS或Flink、OSS产品提供了支持Delta或Hudi存储机制的湖仓一体架构。您可以通过MaxCompute查询到实时数据，即时洞察业务数据...
ApsaraDB For OceanBase数据源
ApsaraDB for OceanBase数据源提供读取和写入ApsaraDB for OceanBase数据的双向功能，您可以使用ApsaraDB for OceanBase数据源配置同步任务同步数据。本文为您介绍DataWorks的ApsaraDB For Oceanbase数据同步能力支持情况。支持的版本 离线...
Hive数据源
您可以基于HDFS文件和Hive JDBC两种方式读取数据：基于HDFS文件读取数据 Hive Reader插件通过访问HiveMetastore服务，解析出您配置的数据表的HDFS文件存储路径、文件格式、分隔符等信息后，再通过读取HDFS文件的方式读取Hive中的表数据。...
HBase数据源
附录：脚本Demo与参数说明 附录：离线任务脚本配置方式 如果您配置离线任务时使用脚本模式的方式进行配置，您需要在任务脚本中按照脚本的统一格式要求编写脚本中的reader参数和writer参数，脚本模式的统一要求请参见 通过脚本模式配置离线...
OSS-HDFS数据源
附录：OSS-HDFS脚本Demo与参数说明 附录：离线任务脚本配置方式 如果您配置离线任务时使用脚本模式的方式进行配置，您需要在任务脚本中按照脚本的统一格式要求编写脚本中的reader参数和writer参数，脚本模式的统一要求请参见 通过脚本模式...
AnalyticDB for MySQL 3.0数据源
是 无 writeMode 写入数据的方式，可选择 insert、replace 和 update 三种方式。insert：当没有遇到主键/唯一性索引冲突时，数据会正常写入。当存在主键/唯一性索引冲突时，会自动忽略当前写入的数据，不做更新。replace：当没有遇到主键/...
HybridDB for MySQL数据源
附录：脚本Demo与参数说明 附录：离线任务脚本配置方式 如果您配置离线任务时使用脚本模式的方式进行配置，您需要在任务脚本中按照脚本的统一格式要求编写脚本中的reader参数和writer参数，脚本模式的统一要求请参见 通过脚本模式配置离线...
2022年
无 2022年11月 新增pgaudit插件，pgAudit插件，提供生成审计日志的能力，通过审计日志，用户可以对数据库进行故障分析、行为分析等操作，有效的帮助您获取数据的执行情况。pgAudit 2022年11月 新增polar_io_stat插件，用于监控 PolarDB ...
HDFS数据源
附录：脚本Demo与参数说明 附录：离线任务脚本配置方式 如果您配置离线任务时使用脚本模式的方式进行配置，您需要在任务脚本中按照脚本的统一格式要求编写脚本中的reader参数和writer参数，脚本模式的统一要求请参见 通过脚本模式配置离线...
Tablestore数据源
table":"",/表名/读时序数据mode必须为normal"mode":"normal",/读时序数据newVersion必须为true"newVersion":"true",/配置该表为时序表"isTimeseriesTable":"true",/measurementName：配置需要读取时序数据的度量名称，非必需，为空则读取...
AnalyticDB for MySQL 2.0数据源
类型 AnalyticDB for MySQL 2.0数据类型 整数类 INT、TINYINT、SMALLINT、BIGINT 浮点类 FLOAT和DOUBLE 字符串类 VARCHAR 日期时间类 DATE和TIMESTAMP 布尔类 BOOLEAN 数据同步任务开发 AnalyticDB for MySQL 2.0数据同步任务的配置入口和...
PolarDB-X 1.0升级至PolarDB-X 2.0
SELECT default_character_set_name FROM information_schema.SCHEMATA WHERE schema_name='.' 如果目标数据库为AUTO模式，需在目标实例中创建DRDS模式数据库作为目标中继数据库，且目标中继数据库的字符集与源数据库的字符集保持一致，并...
SCAN语句
STREAM：将源表tbName按照流读的方式，定义一个临时视图tbName_alias。OPTIONS中可以定义数据源读取的运行期参数，针对不同的数据源，运行期参数不同。运行期参数主要包含如何定义流式读的行为参数。示例 创建一个LogService数据源表。...
UTL_ENCODE
TEXT_DECODE Function 根据字符集以及解码方式解码字符串。TEXT_ENCODE Function 根据字符集以及编码方式编码字符串。UUDECODE Function 读取RAW类型的UUENCODE格式编码内容，并解码为对应的RAW类型数据。UUENCODE Function 读取RAW类型的...
什么是边缘流数据分析
流数据分析是一种使用流的方法快速实时处理数据的计算方式。边缘计算中的流数据分析，继承了物联网平台的流数据分析能力。在数据分析控制台创建 流数据分析任务，并将该任务下发到边缘端，通过边缘设备实时运行。运行结果可以存储在边缘端...
- 产品推荐
- 这些文档可能帮助您