水印使用限制
由于嵌入水印的原理是将水印原子信息嵌入到不同特征的数据中去，因此源数据特征越多，越能嵌入完整的水印信息、提高提取成功率，并且即使缺失部分数据也不影响水印提取。所以对需要嵌入水印的数据有如下要求：待嵌入水印的源数据需要大于...
查看并管理实时任务
指定来源表读取数据时点：设置指定开始时间会让所有支持startTime的来源表均从该时刻开始读取数据。重要 目前支持Log Service CDC、Kafka CDC、MySQL CDC、MongoDB CDC、OceanBase CDC指定来源表读取数据时点。SQL作业中的代码参数配置将...
我是安全管理员
集成与开发（DTS）数仓开发 数仓开发以数据库为主要计算引擎，融合数据库生态中多种工具和服务（如DTS、DLA等），让用户可以轻松拥有数据仓库进行开发和管理。任务编排 任务编排主要用于编排各类任务并进行调度执行，通过创建一个或多个...
配置Kudu输入组件
批量字节数 批量读取数据的字节数，默认1MB。需大于0（小数点保留1位）。输入过滤 输入过滤条件支持=、>、<、>=、、is not null、is null，每个表达式需带双引号"。每个表达式中需用空格隔开，比如："id>10","name="dataphin。连接超时时间...
我是普通用户
数仓开发 数仓开发以数据库为主要计算引擎，融合数据库生态中多种工具和服务（如DTS、DLA等），让用户可以轻松拥有数据仓库进行开发和管理。数据服务 数据服务提供最小粒度数据输出、可视化制作、云市场售卖等功能。数据库克隆 数据库克隆...
查看并管理实时任务
指定来源表读取数据时点：设置指定开始时间会让所有支持startTime的来源表均从该时刻开始读取数据。重要 目前支持Log Service CDC、Kafka CDC、MySQL CDC、MongoDB CDC、OceanBase CDC指定来源表读取数据时点。SQL作业中的代码参数配置将...
我是DBA
集成与开发（DTS）数仓开发 数仓开发以数据库为主要计算引擎，融合数据库生态中多种工具和服务（如DTS、DLA等），让用户可以轻松拥有数据仓库进行开发和管理。任务编排 任务编排主要用于编排各类任务并进行调度执行，通过创建一个或多个...
通过缓存优化性能
Delta缓存通过使用快速中间数据格式在节点的本地存储中创建远程文件的副本来加速数据读取。每当需要从远程位置获取文件时，数据都会自动缓存。然后在本地的连续读取上述数据，从而显著提高读取速度。说明 详细内容可参考Databricks官网文章...
目标数据库连接性检查
为保障数据迁移任务的顺利执行，在预检查阶段检查DTS服务器是否能够连通要迁移的目标数据库。本文将介绍目标数据库连接性检查失败可能的原因及修复方法。当目标数据库连接性预检查失败时，可能是以下几种原因。数据库账号或数据库密码不...
我是管理员
集成与开发（DTS）数仓开发 数仓开发以数据库为主要计算引擎，融合数据库生态中多种工具和服务（如DTS、DLA等），让用户可以轻松拥有数据仓库进行开发和管理。任务编排 任务编排主要用于编排各类任务并进行调度执行，通过创建一个或多个...
数据导入概览
④ 图数据库GDB加载程序从满足RAM角色的Bucket中读取数据并将数据加载至图数据GDB实例。使用DataWorks数据集成同步数据到GDB DataWorks 是阿里云上的一站式大数据智能云研发平台，其中数据集成服务支持导出数据到GDB，您也可以使用平台完成...
产品架构
用户同时对一个数据订阅链路，启动多个下游SDK消费进程，服务端同时只向一个下游消费推送增量数据，当这个消费进程异常后，服务端会从其他健康下游中选择一个消费进程，向这个消费进程推送数据，从而实现下游消费的高可用。
22.8版本新特性概览
远程文件系统的本地缓存 当ClickHouse从本地磁盘文件系统读取数据时是非常快的，例如阿里云ECS本地盘或者云盘上的数据被OSS缓存在Page Cache中再进行读取。但是，如果ClickHouse从远程文件系统（例如OSS）读取数据，则系统不会感知到这些...
LogHub（SLS）数据源
否 128 column 每条数据中的列名，此处可以配置日志服务中的元数据作为同步列。日志服务支持日志主题、采集机器唯一标识、主机名、路径和日志时间等元数据。说明 列名区分大小写。元数据的写法请参见 日志服务机器组。是 无 beginDateTime ...
读取OSS数据
使用MaxCompute客户端，从OSS读取数据。命令示例如下。select recordId,patientId,direction from mc_oss_csv_external1 where patientId>25;返回结果如下。recordid|patientid|direction|+-+-+-+|1|51|S|3|48|NE|4|30|W|5|47|S|7|53|N|8|...
数据水印
水印嵌入方式（必选）您可选择如下嵌入方式：数据水印：是指将标识信息通过一定方式嵌入到数据中，该水印信息数据使用者难以察觉。文件水印：是指将标识信息通过一定方式嵌入到文件中，该水印信息数据使用者可以直接看到。数据水印信息/...
A100售后支持相关问题
本文介绍了您在使用A100系列数据库审计服务时可能遇到的问题和解答，帮助您更好地理解和使用产品。使用数据库审计时，我可以为RAM用户授予哪些权限？数据库审计A100是否支持云数据库PolarDB？在CentOS中删除Agent是指删除/usr/local/...
数据归档
当归档数据块中顺序读取的page数达到了阈值，OSS将直接缓存整个归档数据文件块到缓存池中。innodb_oss_prefetch_random_pct_threshold 30%该参数为归档数据随机预取阈值。当归档数据块中随机读取的page数达到了阈值，OSS将直接缓存整个归档...
创建同步任务
本文为您介绍如何通过创建同步任务，导出MaxCompute中的数据至MySQL数据源中。前提条件 已通过RDS创建MySQL实例，获取RDS实例ID，并在RDS控制台添加白名单。详情请参见 快速创建RDS MySQL实例 和 添加白名单。说明 如果是通过自定义资源组...
创建并管理数据源
若您想在DataWorks操作您的数据库或数据仓库（例如，MaxCompute项目数据），需先在DataWorks的数据源管理页面，将数据库或数据仓库创建为DataWorks的数据源，并将该数据源绑定至DataWorks相应的功能模块使用。例如，同步MaxCompute数据前，...
数据服务
配置完成后，数据服务会自动读取数据源信息。详情请参见 配置数据源。数据服务是否支持MaxCompute（ODPS）数据源？数据服务不支持直接连接MaxCompute（ODPS）类型的数据源，您需要通过Hologres类型的数据源间接连接和加速查询MaxCompute...
配置API输入组件
配置API输入组件后，可以读取API数据源中的数据至Dataphin，进行数据集成与数据开发。本文为您介绍如何配置API输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建API数据源。具体操作，请参见 创建API数据源。进行API...
使用Web Tracking采集日志
日志服务Web Tracking功能用于在Web应用程序中跟踪用户行为并将行为数据上传到日志服务中，便于您分析用户行为等。您可以通过Web Tracking采集各种浏览器、iOS App或Android App的用户信息，例如：用户使用的浏览器、操作系统、分辨率等...
配置API输入组件
配置API输入组件后，可以读取API数据源中的数据至Dataphin，进行数据集成与数据开发。本文为您介绍如何配置API输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建API数据源。具体操作，请参见 创建API数据源。进行API...
添加HDFS数据源
添加HDFS数据源用于实现 云原生多模数据库 Lindorm 宽表引擎能够读取HDFS的数据，如果您要将HDFS数据导入到 云原生多模数据库 Lindorm 宽表中，需要先添加HDFS数据源。本文介绍如何添加HDFS数据源。前提条件 已购买LTS数据同步服务，具体...
数据服务概述
DataWorks数据服务模块是一个灵活轻量、安全稳定的数据API构建平台，作为数据库和数据应用之间的“桥梁”，DataWorks数据服务旨在为个人、团队和企业提供全面的数据服务和共享能力，帮助用户统一管理面向内外部的API服务。例如，您可以将...
商品属性提取和多模搜索
查询数据 应用端可以采用上述架构图中的任意一种方案从商品库中查询数据，查询步骤如下所示。应用端调用OSS服务，将要查询的图片插入OSS，获得对应URL。说明 当前只支持HTTP和HTTPS协议的URL。应用端调用特征提取服务，获得URL对应图片抽象...
创建数据源
概述 您可以通过以下方式创建 OceanBase 开发者中心（OceanBase Developer Center，ODC）数据源：ODC 首页中创建数据源：进入 ODC 首页后，单击 新建数据源 按钮创建数据源。公有云实例中创建数据源：公有云的实例中，单击 登录数据库，...
创建RDS MySQL数据订阅通道
如果订阅的源数据库还处于其他任务中（例如该数据库还存在于某个正在运行的数据迁移任务中），您可能会订阅到订阅对象以外的数据，此类场景中，您需要手动在订阅客户端中过滤掉不需要的数据。操作步骤 购买数据订阅通道，详情请参见 购买...
申请免费试用WAF
使用须知 WAF试用服务面向 未开通WAF 的用户，帮助您了解WAF的功能和使用方法，并不能解决Web服务被攻击的问题。试用过程中，如果您接入WAF防护的业务受到Web攻击，试用服务不能帮助您防御攻击。试用服务有以下限制：每个阿里云账号可享受 ...
插件配置概述
Dead_letter_queue input plugin logstash-input-elasticsearch 从Elasticsearch集群中读取数据。Elasticsearch input plugin logstash-input-exec 定期运行Shell命令，将Shell命令的全部输出作为事件捕获。Exec input plugin logstash-...
计费常见问题
调度任务的调度周期从天改为小时后，调度任务从每天运行一次变更为每小时运行一次，运行次数增加，读取的数据量增加，所以费用增多。运行全表扫描后，为什么费用会增加？运行全表扫描时，数据输入量为全表的大小，而如果只扫描部分分区，...
创建Oracle数据订阅通道
如果订阅的源数据库还处于其他任务中（例如该数据库还存在于某个正在运行的数据迁移任务中），您可能会订阅到订阅对象以外的数据，此类场景中，您需要手动在订阅客户端中过滤掉不需要的数据。准备工作 登录待订阅的Oracle数据库，创建用于...
自建Oracle迁移至PolarDB-X
如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添到ECS的安全规则中，您还需确保自建数据库没有限制ECS的访问（若数据库是集群部署在多个ECS实例，您需要手动将DTS服务对应地区的IP地址添到其余每个ECS的安全...
从Amazon RDS for PostgreSQL全量迁移至阿里云
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将Amazon RDS for PostgreSQL全量迁移至阿里云RDS PostgreSQL。前提条件 Amazon RDS for PostgreSQL的数据库版本为9.4或以上版本。为保障DTS能够通过公网连接至Amazon RDS ...
结束DTS实例
对于需要停止或已失败（不再需要）的实例，您可以结束实例，以避免源数据库的数据覆盖写入至目标数据库中。前提条件 已创建同步或迁移实例。更多信息，请参见 同步方案概览 和 迁移方案概览 中的相关配置文档。实例已开始运行，且 运行状态...
创建元数据
列字段配置 新建列字段 字段名称：配置为业务数据中实际的字段名称，且后续需要基于该字段创建服务单元。支持多层嵌套，使用点（.）分隔。字段类型：根据业务数据的字段类型选择对应的字段类型。支持选择的字段类型包括Double、Float、...
从Amazon Aurora PostgreSQL迁移至阿里云
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将Amazon Aurora PostgreSQL的数据迁移至阿里云（如RDS PostgreSQL和 PolarDB PostgreSQL版）。本文以Amazon Aurora PostgreSQL迁移至 RDS PostgreSQL 为例，为您介绍操作...
释放实例
后续操作 DTS实例完成或释放后，建议您手动删除源和目标数据库实例中添加的DTS服务的IP地址，以禁止DTS继续访问数据库。DTS服务的IP地址，请参见 DTS服务器的IP地址段。在阿里云数据库实例的白名单中，您需要删除名称包含 dts 的IP白名单...
RDS MariaDB实例间的迁移
如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添到ECS的安全规则中，您还需确保自建数据库没有限制ECS的访问（若数据库是集群部署在多个ECS实例，您需要手动将DTS服务对应地区的IP地址添到其余每个ECS的安全...
- 产品推荐
- 这些文档可能帮助您