表引擎
MergeTree 用于插入极大量的数据到一张表中，数据以数据片段的形式一个接着一个的快速写入，数据片段按照一定的规则进行合并。Data Replication 用于将数据从一个节点复制到其他节点，并保证数据的一致性。Custom Partitioning Key 用于...
功能简介
整体导入导出 将工作组中已沉淀的数据标准、数据模型、数据加工场景、数据服务API配置、云计算资源配置等数据资产创建解决方案后，进行下载、导入解决方案、实例化等。支持将工作组内已加工完成的数据标准、数据模型、数据加工场景、数据...
2020年
本文介绍 PolarDB PostgreSQL版（兼容Oracle）的产品功能动态，分别为内核小版本、控制台、时空数据库和API的更新说明。说明 您可通过如下语句查看 PolarDB PostgreSQL版（兼容Oracle）的内核小版本的版本号：show polar_version;2020年12...
异构数据源访问
准备测试数据集 准备测试数据集，并执行 hadoop fs-put<本地文件名称><文件保存在Hadoop集群的路径>命令将数据集保存在Hadoop集群路径。例如，将本地文件/home/user/file.txt 上传到HDFS的/tmp 目录下，执行 hadoop fs-put/home/user/file....
MongoDB数据库大版本升级说明
type:"array"能直接检测到数组类型的文档（即能够同时检测到示例中_id 为1和2的文档），之前只能检测到嵌套型的数组类型文档（仅能检测到示例中_id 为2的文档）。示例：{"_id":1,"a":[1,2,3]} {"_id":2,"a":[1,2,[3,4]]}$type 的更多信息，...
配置并管理实时同步任务
同步时默认将源端数据表写入目的端同名schema或同名表中，同时，您可以通过添加映射规则定义最终写入目的端的schema或表名称，实现将多张表数据写入到同一个目标表中，或统一将源端某固定前缀的表名在写入目标表时更新为其他前缀。...
组复制简介
同时，集群内的所有节点（包括源节点），都会使用当前事务修改的所有数据行（下文简称为相关行）的哈希值作为key，到认证信息数组中读取value，并将读到的这些value合并为一个gtid集合。这个集合标识了当前事务提交前，哪些事务必须完成...
基于DLF、RDS或Flink、OSS支持Delta Lake或Hudi存储...
步骤五：创建并启动入湖任务 由于DLF中数据入湖功能已经停止更新，如果您有数据入湖需求请参考 DLF中数据入湖功能停止更新公告。您可以采用以下两种方式进行Delta Lake和Hudi格式的数据入湖操作。重要 Delta格式的数据入湖可选择单表离线...
应用场景
物流应用：使用云数据库MongoDB存储订单信息，订单状态在运送过程中会不断更新，以云数据库MongoDB内嵌数组的形式来存储，一次查询就能将订单所有的变更读取出来，方便快捷且一目了然。社交应用：使用云数据库MongoDB存储用户信息以及用户...
一键实时同步至Hologres
注意事项 同步数据至Hologres时，目前仅支持将数据写入分区表子表，暂不支持写入数据至分区表父表。操作流程 步骤一：选择同步方案 步骤二：配置网络连通 步骤三：设置同步来源与规则 步骤四：设置目标表 步骤五：设置表粒度同步规则 步骤...
COPY
对于 COPY FROM，文件中的每个字段将按顺序插入到指定列中。COPY FROM 命令的列列表中没有指定的表列则会采纳其默认值。带一个文件名的 COPY 指示 PolarDB服务器直接从一个文件读取或者写入到一个文件。该文件必须是 PolarDB用户（运行...
基于Delta Table构建近实时增全量一体化链路实践
且在实际业务数据处理场景中，涉及的数据源丰富多样，可能存在数据库、日志系统或者其他消息队列等系统，为了方便您将数据写入Delta Table，MaxCompute深度定制开发了开源的 Flink Connector工具，联合DataWorks数据集成以及其他数据导入...
CONCAT
将多个ARRAY数组中的所有元素连接在一起，生成一个新的ARRAY数组，或将多个字符串连接在一起，生成一个新的字符串。命令格式 array<T>concat(array<T><a>,array<T><b>[,.])string concat(string,string[,.])参数说明 a、b：必填。ARRAY数组...
DataStudio侧实时同步任务配置
方式二：双击业务流程名称，将 数据集成 目录下的 实时同步 节点直接拖拽至右侧业务流程编辑面板。在 新建节点 对话框中，配置各项参数。参数 描述 节点类型 默认为 实时同步。同步方式 实时同步单表增量数据时，同步方式选择 单表（Topic...
JSON数据类型
SELECT子句中使用json_extract函数，表示返回c2列中JSON数组第2个index上的k2键的值，并将返回结果的列名设置j String"select json_extract(c2,'$[2].k2')j from tb where p1=3;ResultSet resultSet=stmt.executeQuery(select);resultSet....
Github实时数据同步与分析
在 临时Query查询 页面执行如下示例命令，创建Hologres内部表 hologres_dataset_github_event.hologres_github_event，后续会将数据实时写入至该表中。新建schema用于创建内表并导入数据 CREATE SCHEMA IF NOT EXISTS hologres_dataset_...
云数据库MongoDB版（分片集群架构）同步至函数计算FC
目标服务接收的数据格式 FC接收到的数据类型为Object，源端增量数据以数组的方式存储在Records字段中，数组中的每一个元素为一条Object类型的数据记录。其中Object字段和含义如下表所示。说明 FC接收到的数据有DML和DDL两种：DDL：记录更改...
云数据库MongoDB版（副本集架构）同步至函数计算FC
目标服务接收的数据格式 FC接收到的数据类型为Object，源端增量数据以数组的方式存储在Records字段中，数组中的每一个元素为一条Object类型的数据记录。其中Object字段和含义如下表所示。说明 FC接收到的数据有DML和DDL两种：DDL：记录更改...
INSERT INTO|OVERWRITE
您可以在 insert 语句中直接指定分区值，将数据插入指定的分区。如果您需要插入少量测试数据，可以配合 VALUES 使用。insert overwrite：先清空表中的原有数据，再向表或静态分区中插入数据。说明 MaxCompute的 insert 语法与通常使用的...
MAP_FROM_ARRAYS
array中的 K 指代ARRAY数组元素的数据类型，数组中的元素可以为任意类型。b：必填。ARRAY数组。对应生成MAP的Value值。array中的 V 指代ARRAY数组元素的数据类型，数组中的元素可以为任意类型。返回值说明 返回MAP类型。返回规则如下：如果...
PolarDB数据源
将上述步骤中记录的独享数据资源组的EIP添加至PolarDB的白名单中。操作详情可参见 设置白名单。准备工作2：创建账号并配置账号权限 创建账号并配置账号权限。您需要规划一个数据库的登录账户用于后续执行操作，此账户需拥有数据库的 SELECT...
常见问题
常见原因是Kafka中数据通过表结构给出的字段和格式解析失败，报错信息会给出解析失败的具体位置。为什么程序无法连接ClickHouse？常见原因及解决方案如下。常见原因1：VPC网络、公网网络环境不对。同一VPC内可用内网连接，不在同一VPC内需...
调整实例sql_mode参数
在默认情况下，当插入一行数据时，如果自动递增列的值被设置为0，MySQL会自动将其替换为下一个可用的自动递增值。然而，当设置 sql_mode 为 NO_AUTO_VALUE_ON_ZERO 时，MySQL将禁止将自动递增列的默认值设置为0。这个参数的作用是为了避免...
使用Notebook开发
本文介绍如何使用DMS Jupyter Notebook进行数据查询和分析。Notebook相当于一个交互式的页面，能够在同一个页面中集成代码、文字和图表，以便于向其他用户传达信息。Notebook界面介绍：保存在Notebook编辑的内容。在当前单元格的上方插入...
使用DTS迁移Redis
DTS可以在不中断数据库服务的同时，将数据全量或者增量迁移至 云数据库 Redis 版。该方案相比使用AOF方式迁移，具有更高的性能和安全性。功能概述 全量迁移 DTS将源库的存量数据全部迁移到目标库中，全量迁移不收费。增量迁移 在全量迁移的...
新建表
对于分布规则不明显的数据，并没有明显的范围查找等特征，可以使用HASH分区，将数据分区列的值按照HASH算法打散到不同的分区上，将数据随机分布到各个分区。Key 分区：类似于按 HASH 分区，区别在于 KEY 分区只支持计算一列或多列，且 ...
Tablestore Stream配置同步任务
Tablestore Stream插件主要用于导出Tablestore增量数据，本文将为您介绍如何通过Tablestore Stream配置同步任务。背景信息 Tablestore Stream插件与全量导出插件不同，增量导出插件仅支持多版本模式，且不支持指定列。增量数据可以看作操作...
AnalyticDB MySQL 2.0数据导入
MaxCompute中已经没有原始数据，原始数据只存在于 AnalyticDB for MySQL 2.0集群的数据库中，可以使用两种数据迁移方式将 AnalyticDB for MySQL 2.0集群中的数据导入到 数仓版（3.0）。具体操作，请参见 数据迁移。准备工作 了解 ...
2020年
新功能 MaxCompute Streaming Tunnel服务是MaxCompute批量数据通道的扩展服务，提供了一套全新的API及后端服务，方便流式服务作为上游服务将数据写入MaxCompute。流式数据通道概述 2020-12-24 新增MaxCompute Spark使用及常见问题视频。新...
TS
EXTS.S.INCRBY EXTS.S.INCRBY Pkey Skey ts value[DATA_ET time][CHUNK_SIZE size][UNCOMPRESSED][LABELS label1 val1.]向Skey中插入一条Datapoint数据，该命令中的value将与Skey中最近Datapoint的value值相加实现递增，也可以指定该命令中...
PolarDB-X 2.0数据源
PolarDB-X 2.0数据源为您提供读取和写入PolarDB-X 2.0的双向通道，本文为您介绍DataWorks的PolarDB-X 2.0数据同步的能力支持情况。使用限制 PolarDB-X 2.0数据源仅支持使用 独享数据集成资源组。支持的版本 离线读写：支持PolarDB-X 2.0，...
SQL
SQL任务类型，用于连接数据库并执行...SQL任务节点设置中，数据源类型选择为 HIVE，数据源实例 选择已添加的HIVE数据源（与上述非查询类SQL任务示例中选择的数据源保持一致），SQL类型 选择为 查询，SQL语句 内容如下。select*from hive_table
MaxCompute数据源
如果数据转换失败，或数据写出至目的端数据源失败，则将数据作为脏数据，您可以配合脏数据限制阈值使用。数据同步前准备：MaxCompute环境准备 读取或写入MaxCompute表数据时，您可以根据需要选择是否开启相关属性。连接MaxCompute并开启...
访问增强版HBase数据
云原生多模数据库 Lindorm 支持通过Lindorm计算引擎访问云数据库HBase增强版集群中的数据。前提条件 已开通Lindorm计算引擎。如何开通，请参见 开通与变配。已阅读并了解通过Lindorm计算引擎访问数据时的使用须知。详细内容，请参见 使用...
应用身份识别
通过在您的数据库服务器或与数据库服务器相连的服务器中安装具备应用身份识别功能的插件，实现将URL、用户名和客户端IP以注释方式插入到对应的SQL语句中，数据库审计可以根据注释信息对用户信息和SQL语句进行关联分析。以下是使用应用身份...
云数据库Redis间的迁移
如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添到ECS的安全规则中，您还需确保自建数据库没有限制ECS的访问（若数据库是集群部署在多个ECS实例，您需要手动将DTS服务对应地区的IP地址添到其余每个ECS的安全...
实时同步常见问题
升级资源组规格：当源端数据量增大，或者同步解决方案任务重新编辑过同步任务（将任务由读取单库单表变更为读取多库多表），导致当前资源组消耗不了当前同步数据量级，此时您可选择扩大资源组规格，资源组规格调整详情请参考：变更规格操作...
云数据库MongoDB版（分片集群架构）间的双向同步
如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添到ECS的安全规则中，您还需确保自建数据库没有限制ECS的访问（若数据库是集群部署在多个ECS实例，您需要手动将DTS服务对应地区的IP地址添到其余每个ECS的安全...
AnalyticDB for MySQL 3.0数据源
如果ADB数据源配置的实例从数仓版切换到了湖仓版，使用该数据源运行在公共资源组上的同步任务将会失败，建议切换前，确认是否有运行在公共资源组上的同步任务，并且将其切换到独享资源组运行。离线同步支持读取视图（VIEW）表。支持的字段...
写入与查询
集群具有至少24 ACU的存储预留资源，且user_default资源组中至少有16 ACU的计算预留资源。如何判断内置数据集是否加载成功？在 作业开发 SQL开发 页面可查看加载进度。当 加载内置数据集 前出现 并为灰质状态，且 库表 页签下可以查看到ADB...
- 产品推荐
- 这些文档可能帮助您