Sensors Data（神策）数据源
目标表的字段列名为course_id"index":0/取来源表的第1列数据写入目标表的course_id列 },{"name":"course_name",/目标表的字段列名为course_name"index":1/取来源表的第2列数据写入目标表的course_name列 },{"name":"course_schedule",/...
异构数据源访问
若您需要通过 AnalyticDB PostgreSQL版 访问外部异构数据源（HDFS、Hive和JDBC）时，可以使用异构数据源访问功能将外部数据转换为 AnalyticDB PostgreSQL版 数据库优化后的格式进行查询和分析。功能说明 外部数据源管理提供高性能的结构化...
使用PTS测试AnalyticDB PostgreSQL版实例性能
获取连接最大等待时间 从连接池中获取空闲连接的等待事件，单位为毫秒，本次示例取值为4000。最大连接数 最大活跃连接数量和最小活跃连接数量，用以匹配单并发与多并发的多种测试场景。本次示例最大连接数为15，最小连接数为1。最小连接数 ...
LogHub（SLS）实时ETL同步至Hologres
在 数据输出预览 窗口，您可以根据需要修改输入数据，或单击 手工构造数据 按钮自定义输入数据，再单击 预览 按钮，查看当前数据处理节点对数据的处理结果，当数据处理节点对输入数据处理异常，或产生脏数据时，也会反馈出异常信息，能够...
离线同步常见问题
报错现象：如果数据中包括表情符，在同步过程中可能会报错脏数据：[13350975-0-0-writer]ERROR StdoutPluginCollector-脏数据 {"exception":"Incorrect string value:'\\xF0\\x9F\\x98\\x82\\xE8\\xA2.' for column 'introduction' at row ...
PolarDB HTAP实时数据分析技术解密
在按列进行海量数据分析时，按行从磁盘读取数据存在非常大的IO带宽浪费，其次，行式存储格式在处理大量数据时会大量拷贝不必要的列数据，对内存读写效率也存在冲击。PolarDB 并行查询突破CPU瓶颈 PolarDB团队开发的并行查询框架（Parallel ...
系统信息函数和运算符
pg_safe_snapshot_blocking_pids(integer)→integer[]返回一个进程ID数组，该进程ID是阻塞服务器进程获取安全快照的会话的进程ID数组，如果没有这样的服务器进程或者没有阻塞，则返回一个空数组。运行 SERIALIZABLE 事务的会话会阻止 ...
准备数据
参数 描述 任务期望最大并发数 数据同步任务内，可以从源并行读取或并行写入数据存储端的最大线程数。向导模式通过界面化配置并发数，指定任务所使用的并行度。同步速率 设置同步速率可以保护读取端数据库，以避免抽取速度过大，给源库造成...
LogHub（SLS）数据源
否 128 column 每条数据中的列名，此处可以配置日志服务中的元数据作为同步列。日志服务支持日志主题、采集机器唯一标识、主机名、路径和日志时间等元数据。说明 列名区分大小写。元数据的写法请参见 日志服务机器组。是 无 beginDateTime ...
Sequence
SequenceExpr只可以从一个Collection中获取，不支持手动创建SequenceExpr。前提条件 您需要提前完成以下步骤，用于操作本文中的示例：准备示例表 pyodps_iris，详情请参见 Dataframe数据处理。创建DataFrame，详情请参见 从MaxCompute表...
列存索引技术架构介绍
其次，行式存储格式在处理大量数据时会大量拷贝不必要的列数据，对内存读写效率也存在冲击。PolarDB并行查询突破CPU瓶颈 并行查询框架（Parallel Query）可以在查询数据量到达一定阈值时，自动启动并行执行。在存储层将数据分片到不同的...
Kafka数据源
使用独享资源组访问开启Kerberos认证的Kafka集群时，需要正确配置DNS、HOST，以确保顺利从kdc获取Kafka集群节点的访问凭证：DNS设置 当独享资源组绑定的VPC中，使用 PrivateZone 实例进行了Kafka集群节点的域名解析设置，则可以在DataWorks...
HBase数据源
而Writer的列顺序，定义的是在收到的数据中，Writer期待的列的顺序。示例如下：Reader的列顺序为c1，c2，c3，c4。Writer的列顺序为x1，x2，x3，x4。则Reader输出的列c1就会赋值给Writer的列x1。如果Writer的列顺序是x1，x2，x4，x3，则c3会...
蚂蚁隐私计算服务平台的审计事件
GetAntppcAisDatasources 从Cap获取数据源。GetAntppcAisDeployLabinfo 查询实验室地址。GetAntppcAisDeployServiceSemver 查询模型规范。GetAntppcAisExecuteDagStatus 查询执行组件状态。GetAntppcAisExecuteLog 查询执行日志。...
2023年
使用成本优化功能实现降本增效 2023-08-24 新增GetRunningJobs-获取运行态的作业列表 新说明 指定时间范围内，所有仍处于“运行中”的作业的运行态数据展示。GetRunningJobs-获取运行态的作业列表 2023-08-24 新增GetJobResourceUsage-获得...
资源组管理
CPU_RATE_LIMIT CPU_RATE_LIMIT用于定义在多个资源组竞争CPU资源时的比例，该参数确定了一个资源组可以从空闲资源组获取的CPU资源的最大比例，如果某资源组设置了较高的CPU_RATE_LIMIT值，那么在竞争CPU时，该资源组将获得较多的CPU时间片...
EMR Hive数据整库离线同步至MaxCompute
数据集成支持从Hive同步数据到其他目标端，也支持从其他目标端同步数据到Hive。添加数据源 新建MaxCompute数据源 新增MaxCompute数据源。详情请参见 创建MaxCompute数据源。新建Hive数据源 在DataWorks 数据源管理 页面，单击 新建数据源，...
EMR Hive数据整库离线同步至MaxCompute
数据集成支持从Hive同步数据到其他目标端，也支持从其他目标端同步数据到Hive。添加数据源 新建MaxCompute数据源 新增MaxCompute数据源。详情请参见 创建MaxCompute数据源。新建Hive数据源 在DataWorks 数据源管理 页面，单击 新建数据源，...
HttpFile数据源
column":{"type":"long","index":0/从HttpFile文本第一列获取int字段。},{"type":"string","value":"alibaba"/从HttpFile Reader内部生成alibaba的字符串字段作为当前字段。} 说明 对于您指定的 column 信息，type必须填写，index和value...
采集数据
user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构数据源间的数据同步，完成数仓数据...
数据导入常见问题
例如，上面示例中，源数据为CSV格式，包括三列，列分隔符为逗号（,），但是导入命令或导入语句中却指定制表符（\t）作为列分隔符，最终导致源数据的三列数据解析成了一列数据。解决方案 修改导入命令或导入语句中的列分隔符为逗号（,），...
Tablestore Stream数据源
列模式下会将增量数据转化为多个6元组的形式（pk、colName、version、colValue、opType和sequenceInfo），行模式则会以普通行的形式导出增量数据。支持的同步模式与字段类型 Tablestore Stream Reader插件支持使用列模式或行模式同步...
读取数据
重要 当要读取带有自增主键列的表数据时，请确保已获取到包含自增主键列值在内的完整主键。更多信息，请参见 主键列自增。如果未记录自增主键列的值，您可以使用范围读取数据按照第一个主键列确定范围读取数据。查询方式 说明 适用场景 ...
PolarDB PostgreSQL 14版相对于PolarDB PostgreSQL 11...
在PolarDB PostgreSQL 11版本（简称PG 11版本）升级到PolarDB PostgreSQL 14版本的过程中，大部分的数据类型、内置函数、表列和对象都没有发生显著变化，大多数变化属于细节改进。通过逻辑复制等方式（推荐使用DTS工具）可以实现接近100%的...
Github实时数据同步与分析
教程简介 本教程基于GitHub Archive公开数据集，通过DataWorks将GitHub中的项目、行为等20多种事件类型数据实时采集至Hologres进行分析，同时使用DataV内置模板，快速搭建实时可视化数据大屏，从开发者、项目、编程语言等多个维度了解...
采集数据
user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构数据源间的数据同步，完成数仓数据...
Oracle同步至Tablestore
本实践以Oracle作为来源数据源，以Tablestore作为去向数据源，因此您需要在DataWorks的工作空间的 数据源管理 页面新增Oracle数据源和Tablestore数据源，两个数据源支持的数据同步能力请参见 Oracle数据源、Tablestore数据源。已购买独享...
迁移 OceanBase 数据库 Oracle 租户的数据至 Oracle ...
背景信息 在数据传输控制台创建从 OceanBase 数据库 Oracle 租户迁移数据至 Oracle 数据库的数据迁移项目，您可以通过结构迁移、全量迁移和增量同步，无缝迁移源端数据库中的存量业务数据和增量数据至 Oracle 数据库。同时，数据传输支持将...
Kafka增量数据同步至MaxCompute
Kafka侧字段可自定义配置JSON解析，可以通过.（获取子字段）和[]（获取数组元素）两种语法，获取Kafka记录JSON格式的value字段内容。重要 如果JSON字段名中带有"."字符，由于会引发字段定义语法歧义，无法通过字段定义获取字段值。Kafka某...
Kafka增量数据同步至MaxCompute
Kafka侧字段可自定义配置JSON解析，可以通过.（获取子字段）和[]（获取数组元素）两种语法，获取Kafka记录JSON格式的value字段内容。重要 如果JSON字段名中带有"."字符，由于会引发字段定义语法歧义，无法通过字段定义获取字段值。Kafka某...
迁移 PolarDB-X 1.0 数据库的数据至 OceanBase 数据库...
项目启动成功后，PolarDB-X 1.0 数据库至 OceanBase 数据库 MySQL 租户的数据迁移项目会自动删除，数据传输会保存 PolarDB-X 1.0 数据库下挂载的数据库至 OceanBase 数据库 MySQL 租户的数据迁移项目，并自动创建相应的数据源。您可以在弹...
同步 RDS PostgreSQL 实例的数据至 OceanBase 数据库 ...
参数 描述 读取并发配置 该参数用于配置全量同步阶段从源端读取数据的并发数，最大限制为 512.并发数过高可能会造成源端压力过大，影响业务。写入并发配置 该参数用于配置全量同步阶段往目标端写入数据的并发数，最大限制为 512。并发数过...
通过DataWorks导入数据
您可以从 云数据库 SelectDB 版 控制台的 实例详情>网络信息 中获取 VPC地址（或 公网地址）和 MySQL协议端口。示例：jdbc:mysql:/selectdb-cn-4xl3jv1*.selectdbfe.rds.aliyuncs.com:9030/test_db 说明 当MySQL实例和 云数据库 SelectDB ...
OSS数据离线同步至MaxCompute
数据集成支持从OSS同步数据到其他目标端，也支持从其他目标端同步数据到OSS。本文以OSS离线同步写入MaxCompute为例，为您介绍OSS离线同步的完整流程。获取OSS Bucket信息 进入 OSS产品控制台。在Bucket列表下，找到您要进行数据同步的OSS ...
OSS数据离线同步至MaxCompute
数据集成支持从OSS同步数据到其他目标端，也支持从其他目标端同步数据到OSS。本文以OSS离线同步写入MaxCompute为例，为您介绍OSS离线同步的完整流程。获取OSS Bucket信息 进入 OSS产品控制台。在Bucket列表下，找到您要进行数据同步的OSS ...
设置列索引查询过滤算法
Minmax indexes：适用于对列数据分布有较好的局部性的场景，对于范围过滤条件和等值过滤条件具有较好的过滤效果。如WHERE条件中带有日期或排序字段。Token bloom filter和ngram bloom filter适用于 LIKE 模糊查询，来快速过滤未命中的数据...
MaxCompute数据离线同步至ClickHouse
数据集成支持从ClickHouse同步数据到其他目标端，也支持从其他目标端同步数据到ClickHouse。本文以MaxCompute离线同步写入ClickHouse为例，为您介绍ClickHouse离线同步的完整流程。使用限制 ClickHouse离线同步仅支持阿里云ClickHouse。...
配置任务常见错误码及排查方法
DTS.Msg.DescribeColumns.TimeOut 获取源数据库列信息失败，常见于目标库为 云原生数据仓库 AnalyticDB MySQL 版 的任务。原因：源库列过多或源库读取速度过慢，导致获取源库Schema超时。解决方法：使用API进行配置。检验源库的读取速度。...
通过外表导入至数仓版
返回结果如下：+-+-+-+-+|id|name|age|dt|+-+-+-+-+|1|james|10|202207|2|bond|20|202207|3|jack|30|202207|4|lucy|40|202207|+-+-+-+-+在 adb_demo 数据库中创建表 test 用于存储从MaxCompute中导入的数据。CREATE TABLE IF NOT EXISTS ...
OceanBase 数据库之间的数据迁移
背景信息 您可以在数据传输控制台创建从 OceanBase 数据库迁移数据至 OceanBase 数据库同类型租户的数据迁移项目，通过结构迁移、全量迁移和增量同步，无缝迁移源端数据库中的存量业务数据和增量数据至目标端数据库。前提条件 数据传输已...
- 产品推荐
- 这些文档可能帮助您