使用存储包
存储包是 数据库备份DBS 推出的一种预付费资源包，支持抵扣同一账号下备份实例的内置存储费用、CDM沙箱功能的存储费用 以及MongoDB等云数据库的备份存储费用，抵扣部分不再计费，仅超出部分将按使用量计费。本文介绍DBS存储包的计费规则...
包的组成部分
PolarDB PostgreSQL版（兼容Oracle）的包是由包规格和包正文两个主要的部分构成的。包规格：这是一个公有接口（公有成员可以在包的外部引用）。我们在包定义中声明所有包含在包中数据库对象。包正文：包含包定义内部声明的所有数据库对象的...
应用评估
架构列表：ADAM通过数据库与应用的关系，结合智能算法，将整体架构做了分组。迁移分组是一个迁移单位的最小子集，即迁移任何一个迁移分组不会影响到其他迁移分组外的数据依赖。说明 应用之间调用关系不在考虑范围。迁移评分：ADAM对迁移与...
使用限制
数据备份与恢复 仅支持通过云数据库MongoDB工具（mongodump和mongorestore）备份与恢复数据库，具体请参见 使用MongoDB工具备份与恢复MongoDB Serverless版实例。数据安全性 仅支持设置白名单，设置方法请参见 设置白名单。不支持设置SSL...
桌面版开发工具使用说明
数据：数据页面包含了组件的数据接口配置，数据页的数据一旦改动，组件都会进行相应的改动。单击右上的 保存，可以保存当前修改的数据，并将当前数据作为此组件的默认数据。交互：交互页面包含了组件的交互说明。发布：发布页面包含了组件...
使用限制
数据备份 不支持 物理备份 和 逻辑备份。仅支持 快照备份。说明 快照备份可以保留某一时间点的磁盘数据状态。不支持 快照备份。支持 物理备份 和 逻辑备份。说明 当实例的数据库版本为MongoDB 3.2或MongoDB 3.4时，实例中集合加索引的数量...
云数据库MongoDB版数据安全最佳实践
针对用户重点关注的数据安全，云数据库MongoDB版提供了全面的安全保障。您可以通过同城容灾、RAM授权、审计日志、网络隔离、白名单、密码认证等多手段保障数据库数据安全。同城容灾 为进一步满足业务场景中高可靠性和数据安全需求，云数据...
备份存储（超出免费额度）计费规则
计算公式：1000 GB×0.00021元/GB/小时=0.21元/小时 使用存储包抵扣数据备份费用 存储包可以抵扣数据备份的费用。若存储包的容量不足以抵扣数据备份的空间用量，超出部分将正常按容量计费（按量付费）。具体的抵扣规则如下：地域类型 抵扣...
Linux实例网站访问丢包延时高的排查方法
traceroute命令行工具 traceroute是几乎所有Linux发行版本预装的网络测试工具，用于跟踪Internet 协议（IP）数据包传送到目标地址时经过的路径。traceroute先发送最大存活时间值（Max_TTL）的UDP探测数据包，然后侦听从网关开始的整个链路...
备份存储（超出免费额度）计费规则
计算公式：1000 GB×0.00021元/GB/小时=0.21元/小时 使用存储包抵扣数据备份费用 存储包可以抵扣数据备份的费用。若存储包的容量不足以抵扣数据备份的空间用量，超出部分将正常按容量计费（按量付费）。具体的抵扣规则如下：地域类型 抵扣...
功能特性
Datahub数据总线 功能集 功能 功能描述 参考文档 数据接入 API接入 使用REST API方式，将数据写入Datahub API参考 SDK接入 使用SDK将数据传入Datahub Java SDK C++ SDK Go SDK Python SDK 插件接入 使用插件将数据传入Datahub LogStash插件...
功能特性
数据容灾 为进一步满足业务场景中高可靠性和数据安全需求，云数据库MongoDB版提供了同城容灾 和异地容灾两种 解决方案。同城容灾：您可以在创建实例时选择多可用区，详情请参见 创建多可用区副本集实例 或 创建多可用区分片集群实例；您也...
BigQuery数据源
BigQuery数据源为您提供读取BigQuery的功能，方便您后续可以通过向导模式和脚本模式配置数据同步任务。本文为您介绍DataWorks的BigQuery数据同步能力支持情况。支持的版本及地域 BigQuery使用的SDK版本是 google-cloud-bigquery 2.29.0，...
资源组操作及网络连通
数据同步网络连通问题 在做离线同步时，我们需要先了解哪些DataWorks及其网络能力？同步ECS自建的数据库的数据时，如何保障数据库与DataWorks的网络连通？数据库和DataWorks不在同一个地域（Region）下，进行数据同步时如何保障数据库与...
桌面版开发工具使用说明
数据：数据页面包含了组件的数据接口配置，数据页的数据一旦改动，组件都会进行相应的改动。单击右上的 保存，可以保存当前修改的数据，并将当前数据作为此组件的默认数据。交互：交互页面包含了组件的交互说明。发布：发布页面包含了组件...
数据源概述
数据源权限管控 完成数据源配置后，您可以对数据源进行分享与权限管控。DataWorks支持您在数据源管理页面，分享数据源权限给相应的工作空间或个人，并进入被分享的工作空间查看该数据源。您可以对数据源设置 可编辑、可查看 等权限控制。...
升级
增值功能包包括 数据萃取、数据服务、资源治理、资产安全、资产质量、智能运维 和 数据标准。可选增值功能包 描述 数据萃取 面向各行各业数据价值深度挖掘的诉求，数据萃取为您提供可视化的ID链接、行为解析和标签萃取，进一步帮助您提炼可...
数据保护伞入门
数据保护伞 是一款数据安全管理产品，提供数据发现、数据脱敏、数据水印、访问控制、风险识别、数据溯源等功能，帮助您快速梳理敏感数据并进行安全管控，保障数据安全。本文示例使用内置规则对 xc_dpe_e2_dev 项目的 phone 数据脱敏，并...
发布包总览概述
来源环境导出的发布包文件导入至目标环境后，发布包文件包含的数据对象将根据导入规则展示在发布包总览页。您可以根据业务需求对发布包总览页中的待发布对象进行管理或发布。前提条件 来源环境导出的发布包文件已导入至目标环境，具体操作...
发布包总览概述
来源环境导出的发布包文件导入至目标环境后，发布包文件包含的数据对象将根据导入规则展示在发布包总览页。您可以根据业务需求对发布包总览页中的待发布对象进行管理或发布。前提条件 来源环境导出的发布包文件已导入至目标环境，具体操作...
DLA Presto CU版本快速入门
配置数据源网络 说明 如果需要连接您VPC内的数据源（如VPC内的RDS、AnalyticDB等）,您需要配置数据源网络，如不需要连接，忽略此步骤即可。在配置数据源网络前，您需要授予DLA账户访问您VPC相关API的权限，详细操作步骤请参见 配置数据源...
不同引擎支持的脱敏方式
计算引擎 脱敏方式 支持的安全算法 MaxCompute 安全策略算法包、数据库内置函数 若脱敏方式为安全策略算法包，则支持所有脱敏算法，且支持使用FPE加密算法进行脱敏。若脱敏方式为数据库内置函数，则不支持高斯、sha256、sha384、sha512、加...
常见问题
PolarDB数据源网络联通性测试失败怎么办？Oracle数据源网络联通性测试失败怎么办？MySQL数据源网络联通性测试失败怎么办？实时任务，运行报错：...
配置数据源网络
本文主要介绍Serverless Spark如何配置数据源网络来访问用户VPC网络中的数据。这些数据包括RDS系列、ADB系列、PolarDB系列、MongoDB、Elasticsearch、HBase、E-MapReduce、Kafka以及用户在ECS上自建的各种数据服务等。背景信息 Serverless ...
大数据AI公共数据集分析
本文以分析公共数据集的数据示例，为您展示如何使用DataWorks进行简单数据分析工作。本教程以申请免费资源为例为您展示详细操作步骤，您也可以使用付费资源，操作类似。教程简介 阿里云DataWorks基于多种大数据引擎，为数据仓库、数据湖、...
网络大盘
网络大盘提供网关的实时网络请求数据分析，包括网络请求响应时长、网络请求失败率、请求数、DNS 用时、TCP 建连用时等网络传输指标，以及指标数据的地域分布情况。查看网络大盘数据的步骤如下：登录控制台，进入 产品与服务>移动开发平台 ...
数据传输作业：数据集成
离线同步 离线（批量）的数据通道通过定义数据来源和去向的数据源和数据集，提供一套抽象化的数据抽取插件（Reader）、数据写入插件（Writer），并基于此框架设计一套简化版的中间数据传输格式，从而实现任意结构化、半结构化数据源之间...
DescribeDataAssets-查询数据资产敏感信息
取值：1：未识别到敏感数据，无风险 2：1 级敏感数据风险 3：2 级敏感数据风险 4：3 级敏感数据风险 5：4 级敏感数据风险 6：5 级敏感数据风险 7：6 级敏感数据风险 8：7 级敏感数据风险 9：8 级敏感数据风险 10：9 级敏感数据风险 11：10 ...
常见问题
PolarDB数据源网络联通性测试失败怎么办？MySQL数据源网络联通性测试失败怎么办？实时任务，运行报错：com.alibaba.otter.canal.parse.exception.PositionNotFoundException: can't find start position for XXX 实时任务，运行报错：...
数据服务入门
步骤一：创建数据源并配置网络连通性 使用数据服务创建API前，您需将数据库或数据仓库添加为DataWorks的数据源，并保障数据服务资源组与您的目标数据源网络连通，以便调用API时DataWorks可成功访问数据源。说明 DataWorks工作空间将集群或...
约束和限制
目录下面采样最新和最老的文件，每个文件读取前1000行 元数据发现SLS数据源发现历史投递数据 如果投递中途修改了分区格式，不会发现修改前的数据 一键建仓/多库合并支持的数据源网络类型 VPC 一键建仓/多库合并支持的数据源 PolarDB MySQL ...
管理数仓规划待发布对象
数据源对象信息：包括数据源名称、数据源类型、发布状态/完成时间、负责人、数据源格式、变更类型、环境变更（从上一次导入后，当前目标环境是否有过变更）、同名同类型（当前环境中是否包含与来源环境同名同类型的数据源，且仅包含新增...
管理数仓规划待发布对象
数据源对象信息：包括数据源名称、数据源类型、发布状态/完成时间、负责人、数据源格式、变更类型、环境变更（从上一次导入后，当前目标环境是否有过变更）、同名同类型（当前环境中是否包含与来源环境同名同类型的数据源，且仅包含新增...
数据集成概述
数据集成是基于Dataphin构建的简单高效的数据同步平台，致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力。背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量...
使用DataWorks
MaxCompute支持通过DataWorks的数据集成功能将MaxCompute中的数据以离线方式导出至其他数据源。当您需要将MaxCompute中的数据导出至其他数据源执行后续数据处理操作时，您可以使用数据集成功能导出数据。本文为您介绍如何将MaxCompute的...
通过向导模式配置离线同步任务
数据集成提供向导式的开发引导，您无需编写任何代码，通过在界面勾选数据来源与去向，并结合DataWorks调度参数，实现将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍向导模式配置离线同步任务的常规配置，各...
Oracle同步至Tablestore
本实践以Oracle作为来源数据源，以Tablestore作为去向数据源，因此您需要在DataWorks的工作空间的 数据源管理 页面新增Oracle数据源和Tablestore数据源，两个数据源支持的数据同步能力请参见 Oracle数据源、Tablestore数据源。已购买独享...
立即备份
库级备份时，针对不同模式的数据库，具体支持的数据库对象如下：MySQL 模式：表、视图、触发器、序列、同义词、类型、包、函数、存储过程。Oracle 模式：表、视图、函数、存储过程。说明 在进行表备份时，建议表数量控制在 200 以内。...
通过DataWorks导入数据
DataWorks提供了可视化的数据导入方式，相对于通过外表导入，DataWorks导入的方式更为轻量化，适合数据量相对较小的数据导入场景。本文介绍如何通过DataWorks将 PolarDB分布式版（原DRDS）的数据导入至 AnalyticDB MySQL版 湖仓版（3.0）或...
新建实时自定义源类型
Dataphin支持自定义实时数据源类型，您可以基于自定义的实时数据源类型，创建实时数据源实例、实时数据源类型的元表以及访问自定义实时数据源的Flink SQL任务，以满足实际数据需求开发。本文为您介绍如何自定义实时数据源类型。使用限制 ...
- 产品推荐
- 这些文档可能帮助您