数据大屏
覆盖同步：清除被同步资源原有的权限，用当前资源的权限覆盖。场景二：授予数据大屏的查看权限 本例中，给访问者B分配 区域销售数据 的查看权限。在集中授权页面，选择目标工作空间并选定数据大屏资源。在右侧的 协同授权 页面，选择目标...
API 概览
DEPOSIT（异步）存证交易 WASM合约 DEPLOYWASMCONTRACT 同步部署WASM合约（慎用）DEPLOYWASMCONTRACTASYNC 异步部署WASM合约（推荐）UPDATECONTRACTFORBIZ 同步升级WASM合约（慎用）UPDATECONTRACTFORBIZASYNC 异步升级WASM合约（推荐）...
数据填报
覆盖同步：清除被同步资源原有的权限，用当前资源的权限覆盖。场景二：授予提交和管理数据的权限 私密状态下，权限管理员支持授予分析师 提交数据、管理自身数据 和 管理全部数据 的权限。本例中，给路人分配日期 管理全部数据 的权限。在...
同步时源库为SQL Server的注意事项及限制
如果同步的源数据库类型为SQL Server，如自建SQL Server、RDS SQL Server，您需要在配置具体的同步任务前，参考本文的注意事项及限制，以保障数据同步任务的正常运行。源库为SQL Server的同步方案概览 根据同步方案，查看同步任务的注意...
Amazon Redshift数据源
是 无 column 需要同步的字段列表，字段之间用英文逗号分隔。例如"column":["id","name","age"]。如果要同步全部列，使用（*）表示，例如"column":["*"]。是 无 where 筛选条件，根据指定的 column、table 和 where 条件拼接SQL，并根据该...
触发仓库同步
100 代码库ID Account String Query 否 test-account 远程同步库克隆账号 Token String Query 否 asd12e44827fe2444f952e931e51xxxx 远程同步库克隆令牌 返回数据 名称 类型 示例值 描述 ErrorMessage String 企业不存在 错误信息 ...
数据总线的审计事件
数据总线已与操作审计服务...SampleShard Shard采样。SplitShard 分裂Shard。UpdateConnectorField 更新同步点列信息。UpdateConnectorState 更新同步点状态。UpdateProject 更新项目信息。UpdateTopicsForKafkaGroup 更新Topic的Kafka分组。
同步对象配置说明
待同步的表在目标实例中映射的别名","FilterCondition":"where condition","PrimaryKey":"待同步表的主键列，多列用逗号分隔","PartKey":"待同步表的分布列，多列用逗号分隔","ColumnIncludes":[{"ColumnName":"待同步表中需同步的列名",...
MySQL整库同步Kafka
背景信息 MySQL CDC数据表主要用于获取MySQL数据，并可以实时同步数据表中的修改，经常用在复杂的计算场景。例如，作为一张维表和其他数据表做Join操作。在使用中，同一张MySQL表可能被多个作业依赖，当多个任务使用同一张MySQL表做处理时...
LogHub（SLS）实时ETL同步至Hologres
本文为您介绍如何LogHub（SLS）实时ETL同步至Hologres任务。新建数据源 配置LogHub（SLS）数据源 您可以手动添加LogHub（SLS）数据源至DataWorks，详情请参见 配置LogHub（SLS）数据源。新建Hologres数据源 获取Hologres数据源信息 进入 ...
创建异地灾备实例
在DTS 同步任务 页面可以查询创建的同步任务，并可以对同步任务进行修改同步对象、设置监控报警、修改同步速度等操作，详情请参见 DTS产品文档。重要 为保障灾备实例数据的实时性，请不要暂停同步灾备实例的同步任务。常见问题 灾备实例...
RDS SQL Server同步至DataHub
支持的同步架构 一对一单向同步 一对多单向同步 多对一单向同步 关于各类同步架构的介绍及注意事项，请参见 数据同步拓扑介绍。支持同步的SQL操作 操作类型 SQL操作语句 DML INSERT、UPDATE、DELETE 数据库账号的权限要求 数据库 所需权限 ...
PostgreSQL数据源
splitPk":"",/用splitPk代表的字段进行数据分片，数据同步会启动并发任务进行数据同步。table":""/表名。},"name":"Reader","category":"reader"},{"stepType":"stream","parameter":{},"name":"Writer","category":"writer"}],"setting...
Oracle同步至Tablestore
本文以Oracle同步至表格存储Tablestore场景为例，为您介绍如何通过数据集成将Oracle的某张表数据实时同步到Tablestore。使用限制 本实践仅支持使用 独享数据集成资源组。前提条件 已完成来源数据源、去向数据源的配置。本实践以Oracle作为...
商品
人工导入：通过输入平台商品ID（多商品请用分号分隔），导入指定新增商品。设置 自动同步规则：单击 自动同步规则，在弹窗中可配置商品自动同步规则，配置完成后，单击 确定。重要 请勿随意修改自动同步规则。请勿在千牛随意改价。否则可能...
通过 SCIM 同步账户至 RAM
IDaaS 支持通过 SCIM 协议，由 IDaaS 将账户同步给应用，本文为您介绍如何在 IDaaS 中通过 SCIM 同步账户至 RAM，以增强身份系统之间的互用性。重要 前提条件：您的阿里云账号或 RAM 用户有创建 OAuth 应用的权限。您的阿里云账号或 RAM ...
通过 SCIM 同步账户至云SSO
IDaaS 支持通过 SCIM 协议，由 IDaaS 将账户同步给应用，本文为您介绍如何在 IDaaS 中通过 SCIM 同步账户至云SSO，以增强身份系统之间的互用性。步骤一：在云SSO控制台开启 SCIM 同步 1.使用阿里云账号登录 云SSO 控制台。2.在左侧导航栏，...
Kafka单表实时入湖OSS（HUDI）
创建同步任务 进入 数据集成主站，单击 同步任务 进入同步任务页面，在页面中单击 新增任务，开始配置同步任务。配置同步任务基本信息。任务名称：自定义。同步类型：来源数据源选择Kafka，去向数据源选择OSS，并选择 单表实时同步 方案。...
Kafka实时ETL同步至Hologres
实时ETL同步方案根据来源Kafka指定Topic的内容结构对目的Hologres表结构做初始化，然后将Kafka指定Topic的存量数据同步至Hologres，同时也持续将增量数据实时同步至Hologres。本文为您介绍如何创建Kafka实时ETL同步至Hologres任务。使用...
账户同步-SCIM
SCIM（System for Cross-domain Identity Management，跨域身份管理系统，用于规范不同系统间的身份数据共享原则和接口定义，以增强身份系统之间的互用性（Interoperability）。配置方式 在应用管理的【账户同步】标签下，管理员可以指定...
不支持自动转换Sample语句
本文介绍不同数据库的采样查询方法。背景说明 Oracle会使用到Sample的语法进行采样查询，例如：select*from AAA sample block(name)。解决方案 PolarDB支持使用TABLESAMPLE system（参数），TABLESAMPLE bernoulli（参数）这两种方式的采样...
整库离线同步至Elasticsearch
整库离线同步方案包括周期性全量同步、周期性增量同步、一次性全量同步、一次性增量同步、一次性全量周期性增量同步。本文以一次性全量周期性增量同步至Elasticsearch为例，为您讲解如何将整库数据离线同步至Elasticsearch。前提条件 已...
增加或删除已运行任务的同步表
同步数据至Kafka解决方案为您提供了一键增加及删除同步表功能，方便您为已成功配置运行的同步任务快速添加新表或删除已有同步表。本文为您介绍如何增加或删除已运行任务的同步表。前提条件 已创建并运行同步数据至Kafka解决方案的任务，...
一键实时同步至Elasticsearch
如果来源库没有主键，则您需要单击 图标，自定义主键，即使用其他非主键的一个或几个字段的联合，代替主键进行同步数据时进行去重判断。选择索引建立方式 支持 自动建索引 和 使用已有索引：当 索引建立方式 选择 自动建索引 时，...
引擎指标
采样聚合：对采样周期内的数据采用的聚合方式。overview（概况）指标 指标含义 说明 Tags 聚合算子 elasticsearch-server.search_total 端到端查询QPS 每秒端到端查询次数。例如客户端每秒发送两个查询index的请求，则search_total为2。...
查询子实例间的同步延迟
A：如果子实例自动触发高可用切换，或对其执行重启、变更配置等操作，会引起同步延迟上升，属于正常波动，通常维持一段时间后会降低。相关文档 为子实例设置同步延迟的监控报警 相关API API接口 说明 DescribeGlobalDistributeCache 查询...
查询子实例间的同步延迟
A：如果子实例自动触发高可用切换，或对其执行重启、变更配置等操作，会引起同步延迟上升，属于正常波动，通常维持一段时间后会降低。相关文档 为子实例设置同步延迟的监控报警 相关API API接口 说明 DescribeGlobalDistributeCache 查询...
BigQuery数据源
BigQuery数据源为您提供读取BigQuery的功能，方便您后续可以通过向导模式和脚本模式配置数据同步任务。本文为您介绍DataWorks的BigQuery数据同步能力支持情况。支持的版本及地域 BigQuery使用的SDK版本是 google-cloud-bigquery 2.29.0，...
配置数据层
杭州中心单元 创建同步任务方式 包括直接录入和手动创建的方式：直接录入：如果您在 数据传输控制台 已经创建一个状态为同步中（双向同步的反向同步链路状态也为同步中）的同步任务，则可以直接选择该同步任务进行录入。手动创建：如果您在...
DB2数据源
是 无 column 目标表需要写入数据的字段，字段之间用英文逗号分隔。例如："column":["id","name","age"]。如果要依次写入全部列，使用（*）表示。例如"column":["*"]。是 无 preSql 执行数据同步任务之前率先执行的SQL语句，目前仅允许执行...
计费方式
适合短期需求，用完可释放实例以节省费用，详情请参见 释放实例。配置数据同步实例时 数据同步实例将从 增量数据采集 模块启动后，开始按同步链路规格来计费。数据同步实例暂停期间仍会收取费用。配置数据迁移实例时 如不勾选增量迁移，则...
数据采样
是 随机采样 随机采样 平均采样 固定间隔行数采样 固定时间周期采样 固定区域采样 随机采样、固定区域采样 参数名 参数描述 是否必填 参数默认值 参数范围 采样数量获取方式 按行数：按指定的行数进行采样。按比例：按指定的比例进行采样。...
云数据库MongoDB版同步至云原生多模数据库Lindorm
数据传输服务DTS（Data Transmission Service）支持将MongoDB（副本集架构或分片集群架构）同步至云原生多模数据库Lindorm（宽表引擎）。Lindorm具有稳定、低成本、简单易用等优势，可以在元数据、订单、账单、画像、社交等场景中，为您...
调用链采样模式选择
ARMS提供以下几种采样模式：固定采样率 自适应采样 基础版采样 错慢采样 固定采样率 固定比例采样就是根据TraceId顺序号记录一定比例的调用链数据。例如，固定比例为10%，则每10条调用链数据记录1条。固定比例采样不会导致调用链数据本身不...
预降采样
预降采样可以在数据写入时就按指定时间粒度对数据进行预计算并单独存储，降采样查询时可以自动查询匹配到的预降采样数据，以降低访问延迟。本文介绍预降采样的概念，创建和管理预降采样规则的方法，查询预降采样数据的方法，以及预降采样的...
修复同步作业预检查失败的问题
DTS在执行数据同步作业之前，会对源库和目标执行预检查，本文介绍各类检查项失败可能的原因及修复方法。预检查项目 失败可能的原因 修复方法 源库连接性检查 目标库连接性检查 数据库账号或密码不正确。获取到正确的密码，然后修改同步作业...
SQL Server数据源
SQL Server数据源为您提供读取和写入SQL Server双向通道的功能，本文为您介绍DataWorks的SQL Server数据同步的能力支持情况。支持的版本 SQL Server Reader使用驱动版本是com.microsoft.sqlserver sqljdbc4 4.0，驱动能力具体请参见 官网...
动态特征提取
其他说明 采样数据预处理：根据采样方式获取到采样数据后，算法将剔除所有无效的采样数据，只保留有效的采样数据进行滤波计算。输出后处理：当输出质量码为好值时，则输出当前特征计算值。当输出质量码为坏值时：对于最大值、最小值、平均...
降采样概述
时序数据的降采样是指将频率较高的时序数据降低到较低频率的时序数据的过程。降采样可以减少数据量从而延长存储时间，提升查询速度，同时尽可能地保留原始数据的趋势和特征。日志服务的降采样通过将时间序列中的数据点进行特定算法的分组与...
转换计费方式
您可以根据业务需求，将数据同步任务或数据订阅任务的付费方式转换为按量付费或者包年包月，转换付费方式对DTS实例的正常运行无影响。注意事项 新版控制台付费方式支持按量付费和包年包月相互转换，旧版控制台付费方式只支持由按量付费转为...
- 产品推荐
- 这些文档可能帮助您