统一服务
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”的传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
功能简介
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”地传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
数据资产管理
通过DMS的数据资产管理功能不仅能使数据资产可视、可用，同时可以确保数据资产的安全性，进而在企业经营过程中帮助企业挖掘数据价值，产生更多数据资产，形成正向循环。操作步骤 登录 云原生数据仓库AnalyticDB MySQL控制台。在页面左上角...
数据源管理概述
功能介绍 多数据源类型接入：Dataphin内置丰富的数据源类型，支持对接的数据源包括大数据存储型数据源、文件型数据源、消息队列型数据源、关系型数据源和NoSQL数据源。更多信息，请参见 Dataphin支持的数据源。自定义数据源类型：在内置的...
数据源管理概述
功能介绍 多数据源类型接入：Dataphin内置丰富的数据源类型，支持对接的数据源包括大数据存储型数据源、文件型数据源、消息队列型数据源、关系型数据源和NoSQL数据源。更多信息，请参见 Dataphin支持的数据源。自定义数据源类型：在内置的...
配置限速流程组件
如果您选择 基于数据条数限制，则需填写限制的条数，例如30条/s。单击 确认，完成 限速 流程组件的属性配置。后续步骤 完成流程组件的配置后，即可配置下游组件，以实现数据同步。具体操作，请参见 通过离线单条管道配置集成任务。
数据保护伞入门
数据保护伞 是一款数据安全管理产品，提供数据发现、数据脱敏、数据水印、访问控制、风险识别、数据溯源等功能，帮助您快速梳理敏感数据并进行安全管控，保障数据安全。本文示例使用内置规则对 xc_dpe_e2_dev 项目的 phone 数据脱敏，并...
在工作空间创建数据源或注册集群
更多数据源或集群的介绍，详情请参见 创建并管理数据源。前提条件 已创建工作空间，详情请参见 创建工作空间。已购买所需引擎产品，详情请参见各引擎的官网文档。权限说明 若创建数据源或注册集群时，您不具备相关权限，请按照界面提示申请...
应用场景
ISV备份方案集成 从事ISV服务的企业用户可能面临多种的问题，例如难以统一管理多数据库环境和多种备份脚本，长时间保留某些业务数据导致后期核算成本太高，不同云厂商和云产品之间备份保留周期不一致，数据恢复的安全性难以保证等等。...
支持的云服务
日志数据采集后，需要更多的个性化分析、挖掘，您可以通过DataWorks的数据集成将日志服务数据同步到MaxCompute，通过MaxCompute对日志数据进行个性化、深层次的数据分析、挖掘。更多SLS信息，请参见 日志服务SLS。访问控制RAM RAM是阿里云...
功能概述
当您的数据库中有数据需要被保护时，可以使用RDS MySQL全密态数据库功能，该功能提供的加密解决方案能够在遵守数据保护法规的前提下保障您的数据安全，使被保护数据免受未授权访问。本文介绍全密态数据库的概念、应用场景和安全分级。什么...
功能特性
迁移数据库账号 数据同步 数据同步功能帮助您实现数据源之间的数据实时同步，适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、云BI及实时数据仓库等多种业务场景 功能集 功能 功能描述 参考文档 同步链路管理 一键反向容灾...
使用数据传输迁移数据
您可以通过数据迁移功能实时迁移其他数据源的数据至 OceanBase 数据库，以及迁移 OceanBase 数据库的数据至其他数据源。本文以迁移 MySQL 数据库的数据至 OceanBase 数据库为例，介绍如何使用数据传输迁移数据。前提条件 在迁移数据之前，...
DataWorks On MaxCompute使用说明
安全中心概述 数据保护伞概述 审批中心概述 数据治理中心 数据治理中心针对多个治理领域，通过数据领域规则沉淀、自动识别资产待优化问题项、覆盖事后及事前的治理优化策略等方式帮助用户主动式、体系化完成数据治理工作。数据治理中心概述...
DataWorks On Hologres使用说明
安全中心概述 数据保护伞概述 审批中心概述 数据治理中心 数据治理中心针对多个治理领域，通过数据领域规则沉淀、自动识别资产待优化问题项、覆盖事后及事前的治理优化策略等方式帮助用户主动式、体系化完成数据治理工作。数据治理中心概述...
手动修正数据
本文将为您介绍如何在手动修正数据页面，对规则识别不准确的数据进行手动修正。说明 手动修正的数据结果，在第2天才会生效展示。背景信息 DataWorks支持您对数据识别规则识别不准确的敏感数据进行手动修正，...说明 最多支持导出10万条数据。
冷热分离
该属性的含义是优先查询热存储中的数据,若热存储中的数据查完了，用户仍然在调用next获取下一条数据，则会开始查询冷数据。Shell hbase(main):002:0>scan 'chsTable',{COLD_HOT_MERGE=>true} Java scan=new Scan();scan.setAttribute...
AnalyticDB for MySQL 3.0数据源
目前向导模式仅允许执行一条SQL语句，脚本模式可以支持多条SQL语句，例如清除旧数据。说明 当有多条SQL语句时，不支持事务。否 无 postSql 执行数据同步任务之后执行的SQL语句，目前向导模式仅允许执行一条SQL语句，脚本模式可以支持多条...
MaxCompute数据离线同步至ClickHouse
批量数据计入脏数据：如果想要保证任务运行完成并可接受批量数据丢弃，可选择将批量数据计入脏数据，通过脏数据允许条数控制任务是否退出。配置字段映射 选择数据来源和数据去向后，需要指定读取端和写入端列的映射关系。您可以选择同名...
搜索（审计）
重要 单次最多可导出1000万条数据。对于采用冷热混合存储的SQL洞察和审计，查询或导出冷存储的数据时，系统会创建对应的查询或导出任务，您可以在 任务列表 页面，查看任务进度及历史任务。对于企业版 V0 和V1，DAS将保存最近2天内的导出...
同步 OceanBase 数据库的数据至 DataHub
oms_is_after STRING 如果是 UPDATE 类型，Y 表示该条数据为变更后的数据。操作步骤 登录 OceanBase 管理控制台，购买数据同步项目。详情请参见 购买数据同步项目。在 数据传输>数据同步 页面，单击新购买的数据同步项目后的 配置。如果您...
DM（达梦）数据源
说明 当有多条SQL语句时，不支持事务。否 无 postSql 执行数据同步任务之后执行的SQL语句，目前只允许执行一条SQL语句，例如加上某一个时间戳。说明 当有多条SQL语句时，不支持事务。否 无 batchSize 一次性批量提交的记录数大小，该值可以...
创建同步ElasticSearch
对于ES6，DataHub同步数据时，将会以用户选择的列的列名作为一条数据的type，如果选择多列，则多列的列名会以“|”分割作为一条数据的type，并且ES6支持以任意名称作为type。例如：DataHub Schema:f1 string,f2 string,f3 string,f4 string...
离线同步数据质量排查
这些Task以单机或者多机的方式并发执行，每个Task读取一个数据区间内的数据，多个Task最终完成整体的数据同步业务。说明 在数据同步过程中，涉及到读插件Reader，写插件Writer。Reader插件连接具体的数据源头读取数据，并将数据放到内部...
梯形柱状图
最多加载：自定义输入数据加载限制数量，系统最多加载您输入的数据记录条数进行布局、绘制与计算，以保证可视化应用展示效果。柱图样式：柱图中每个柱子的样式。柱脚倾斜：梯形柱状图柱脚的倾斜幅度。值标签：每个柱子值标签的样式，可单击...
水平胶囊柱状图
最多加载：自定义输入数据加载限制数量，系统最多加载您输入的数据记录条数进行布局、绘制与计算，以保证可视化应用展示效果。柱图样式：柱图中每个柱子的样式。参数 说明 柱内间距 柱子到胶囊壳的距离，取值范围为0~10，单位为px。描边...
功能特性
多盘条带化读写 创建数据库文件存储时支持开启条带化，提升读写带宽，突破ESSD云盘最大64TB的限制-DBFS管理 创建DBFS 创建一个按量付费的数据库文件存储 创建DBFS 挂载DBFS 将数据库文件存储挂载到ECS云服务器上使用，支持挂载给多台ECS...
分组柱状图
最多加载：自定义输入数据加载限制数量，系统最多加载您输入的数据记录条数进行布局、绘制与计算，以保证可视化应用展示效果。柱图样式：柱图中每个柱子的样式。装饰 参数 说明 装饰线 装饰线的颜色。装饰形状 装饰五边形内部的填充颜色和...
数据模型
查询多条时间线一段时间内的数据点，并按5分钟粒度降采样。例如：查询 ID=7AD45EC 的设备，在 2020-10-24T00:00:00Z~2020-10-25T00:00:00Z 一天时间范围内，功率、风速 的指标值明细，按 5分钟 粒度采样返回数据。对某条时间线按时间范围做...
PolarDB数据源
数据示例 源表数据+-+-+-+|id|name|age|+-+-+-+|1|zhangsan|1|2|lisi|+-+-+-+目标表原始数据+-+-+-+|id|name|age|+-+-+-+|2|wangwu|+-+-+-+运行任务后，成功写入目标表1条数据，脏数据1条。id|name|age|+-+-+-+|1|zhangsan|1|2|wangwu|+-+-...
Amazon Redshift数据源
目前向导模式仅允许执行一条SQL语句，脚本模式可以支持多条SQL语句，例如清除旧数据。否 无 postSql 执行数据同步任务之后执行的SQL语句。目前向导模式仅允许执行一条SQL语句，脚本模式可以支持多条SQL语句，例如加上某一个时间戳。否 无 ...
API概览
SQL洞察 API 标题 API概述 GetErrorRequestSample 查询执行错误的SQL样本数据 调用GetErrorRequestSample接口，异步查询数据库实例SQL洞察结果中执行错误的SQL样本数据，最多返回指定时间范围内20条数据。GetAsyncErrorRequestStatResult ...
AnalyticDB for PostgreSQL数据源
目前向导模式仅允许执行一条SQL语句，脚本模式可以支持多条SQL语句，例如清除旧数据。否 无 postSql 执行数据同步任务之后执行的SQL语句。目前向导模式仅允许执行一条SQL语句，脚本模式可以支持多条SQL语句，例如加上某一个时间戳。否 无 ...
HybridDB for MySQL数据源
目前向导模式仅允许执行一条SQL语句，脚本模式可以支持多条SQL语句，例如清除旧数据。否 无 postSql 执行数据同步任务之后执行的SQL语句，目前向导模式仅允许执行一条SQL语句，脚本模式可以支持多条SQL语句，例如加上某一个时间戳。否 无 ...
SQL Server数据源
目前向导模式仅允许执行一条SQL语句，脚本模式可以支持多条SQL语句，例如清除旧数据。否 无 postSql 执行数据同步任务之后执行的SQL语句。目前向导模式仅允许执行一条SQL语句，脚本模式可以支持多条SQL语句，例如加上某一个时间戳。否 无 ...
Oracle数据源
说明 数据库容器CDB（Container Database）是Oracle 12c及之后版本的数据库新特性，用于承载多个可插拔数据库PDB（Pluggable Database）。使用限制 当前数据集成同步数据时，仅支持UTF8、AL32UTF8、AL16UTF16及ZHS16GBK编码格式。Oracle单...
PostgreSQL数据源
否 无 fetchSize 该配置项定义了插件和数据库服务器端每次批量数据获取条数，该值决定了数据集成和服务器端的网络交互次数，能够较大地提升数据抽取性能。说明 fetchSize 值过大（>2048）可能造成数据同步进程OOM。否 512 PostgreSQL ...
DELETE
一条DELETE语句只能删除一行数据，不支持一条语句删除多行。删除操作并非是先读取再删除，而是直接写入删除标记。所以无论被删除的行是否存在，删除都会成功。可以指定删除的时间戳，带时间戳的delete会删除指定行中，小于等于指定时间戳的...
任务运行失败
ODPS-0420061:Invalid parameter in HTTP request - Fetched data is larger than the rendering limitation. Please try to reduce your limit size or column number 查询语句加一下limit，如果要查看更多可以将数据导出，超过10000条请...
配置API输入组件
读取JSON路径 非必填，填写JSON路径后可读取数组数据，不填写则读取单条数据。请求次数 支持 一次请求 和 多次请求。一次请求：只进行一次请求。多次请求：根据指定循环的参数，进行多次请求。请求参数：需要在Parameters或Body中配置，...
- 产品推荐
- 这些文档可能帮助您