快速体验
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
控制台发布记录
9月26日 将AI模型推理结果写回数据库 自助退订 计算包或 存储包 PolarDB MySQL版 支持在控制台自助退订 计算包或 存储包。9月22日 退订固定规格计算包或存储包 PolarDB for AI集成通义千问-7B大模型 PolarDB for AI上线集成通义千问-7B大...
集成与开发概览
数据同步功能帮助您实现数据源之间的数据实时同步，适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、云BI及实时数据仓库等多种业务场景。离线集成。更多信息，请参见 离线集成概述。离线集成是一种低代码的数据开发工具，...
文档修订记录
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
功能特性
配置管理 数据保护 敏感数据管理 DMS的敏感数据保护能力能根据所选的敏感数据扫描模板、敏感数据识别模型以及脱敏算法对数据进行脱敏处理，以避免敏感数据滥用，有效保护企业的敏感数据资产，防止数据泄露造成企业经营资金损失或罚款。...
迁移 OceanBase 数据库 Oracle 租户的数据至 Oracle ...
背景信息 在数据传输控制台创建从 OceanBase 数据库 Oracle 租户迁移数据至 Oracle 数据库的数据迁移项目，您可以通过结构迁移、全量迁移和增量同步，无缝迁移源端数据库中的存量业务数据和增量数据至 Oracle 数据库。同时，数据传输支持将...
功能更新动态（2024年）
安装及管理Python三方包 数据源 Kafka数据源支持在无认证或用户名+密码认证方式下，使用双向SSL加密。达梦数据源支持使用SSL加密。创建Kafka数据源 创建达梦（DM）数据源 离线集成 FTP输出组件优化：写入文件个数不与并发数强绑定，支持...
DataWorks OpenAPI概述
DataWorks为您提供了涵盖租户、元数据、数据开发、运维中心、数据集成等多个功能模块的OpenAPI接口，不同API的QPS限制、每日调用次数上限和支持使用的DataWorks服务版本存在差异。您可参考本文了解各OpenAPI支持的DataWorks版本及地域、...
使用RDS MySQL时报“SELECT command denied to user '...
使用Wireshark软件抓包，抓取本机发出的实际请求。在Wireshark界面中，依次选择 捕获>选项，在输入页签选择连接RDS的内网网卡，在输出页签填写输出的文件名，然后单击 开始。然后复现问题，问题复现后，停止抓包即可。打开生成的抓包文件，...
使用RDS MySQL时报“SELECT command denied to user '...
使用Wireshark软件抓包，抓取本机发出的实际请求。在Wireshark界面中，依次选择 捕获>选项，在输入页签选择连接RDS的内网网卡，在输出页签填写输出的文件名，然后单击 开始。然后复现问题，问题复现后，停止抓包即可。打开生成的抓包文件，...
业务监控
下载抓包：表示下载针对该攻击事件的抓包文件。您可以将获取的抓包文件作为证据，用于向网监报案。查看攻击分析：表示查看针对该攻击事件的详细攻击分析数据。关于攻击分析数据的更多介绍，请参见 攻击分析。您可以在 业务流量趋势 区域...
Windows系统中Wireshark抓包工具的安装使用方法
概述 在使用ECS服务器时，发现网络流量异常，或发现服务器有异常向外发包行为，可以使用抓包工具抓取网络流量包，分析流量包的特征，查看这些流量包来自哪里，或发送到哪里。根据这些信息，可以进一步诊断异常。本文主要介绍在Windows系统...
ALB状态码说明
客户端到 ALB 的网络链路有问题，TCP的rtt（Round Trip Time）比较大或存在丢包等问题，建议排查访问日志的request_time和tcpinfo_rtt字段或抓包排查客户端网络是否有异常。访问 ALB 实例的流量太大，触发带宽限速和丢包，建议通过云监控...
CLB状态码说明
CLB状态码（status）的可能原因：客户端到CLB的网络链路有问题，存在rtt（Round Trip Time）比较大或丢包等问题，建议排查访问日志的request_time和tcpinfo_rtt字段，或抓包排查客户端网络是否有异常。访问CLB实例的流量太大，触发带宽限速...
排查IP白名单问题
现象：用户访问企业版集群的VPC地址或标准版集群的所有地址（公网和VPC），Telnet通，但收不到数据库服务返回的MySQL handshake报文，现象如下图：如果在客户端抓包，会看到TCP三次握手的第二个SYN+ACK报文和最后一个ACK报文一直在重新响应...
应用评估
前提条件 全部应用采集包都已创建应用画像。背景信息 迁移数据库和应用的过程中存在以下几个难点问题：难以估算应用改造的工作量。难以制定详情地迁移数据库的计划。应用长时间未维护，迁移后难以改造应用。新建应用评估 填写基本信息，...
DescribeColumnsV2-查询数据资产表中列的数据V2
调用DescribeColumns接口查询数据安全中心连接授权的MaxCompute、RDS等数据资产表中列的数据。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权...
DescribeColumns-查询数据资产表中列的数据
调用DescribeColumns接口查询数据安全中心连接授权的MaxCompute、RDS等数据资产表中列的数据。接口说明 本接口一般用于敏感数据资产信息表中列数据的查看，便于用户准确的对敏感数据进行分析。注意事项 DescribeColumns 接口已修订为 ...
退订方式说明
关系型数据库RDS（包月）时序数据库 InfluxDB® 版 时序数据库TSDB版（包年包月）数据传输服务DTS 数据湖分析CU版（包年包月）数据库备份DBS 云数据库Redis包年包月（云盘版）云数据库KVStore版（包月）云数据库MongoDB版分片集群（包年...
桌面版开发工具使用说明
数据：数据页面包含了组件的数据接口配置，数据页的数据一旦改动，组件都会进行相应的改动。单击右上的 保存，可以保存当前修改的数据，并将当前数据作为此组件的默认数据。交互：交互页面包含了组件的交互说明。发布：发布页面包含了组件...
桌面版开发工具使用说明
数据：数据页面包含了组件的数据接口配置，数据页的数据一旦改动，组件都会进行相应的改动。单击右上的 保存，可以保存当前修改的数据，并将当前数据作为此组件的默认数据。交互：交互页面包含了组件的交互说明。发布：发布页面包含了组件...
使用存储包
存储包是 数据库备份DBS 推出的一种预付费资源包，支持抵扣同一账号下备份实例的内置存储费用、CDM沙箱功能的存储费用 以及MongoDB等云数据库的备份存储费用，抵扣部分不再计费，仅超出部分将按使用量计费。本文介绍DBS存储包的计费规则...
UDF开发（Java）
附录：数据类型 数据类型映射 为确保编写Java UDF过程中使用的数据类型与MaxCompute支持的数据类型保持一致，您需要关注二者间的数据类型映射关系。具体映射关系如下。说明 在MaxCompute中不同数据类型版本支持的数据类型不同。从...
包的组成部分
我们在包定义中声明所有包含在包中数据库对象。包正文：包含包定义内部声明的所有数据库对象的具体应用实现。包主体的内容是包定义中的所有对象具体定义实现，包括对成员定义的具体实现和对外部程序不可见的私有成员声明信息。所以，我们...
从Oracle迁移应用至阿里云PolarDB全流程指南
数据库和应用采集 登录阿里云官方网站，在 ADAM官网 下载 数据库采集器 和 应用采集器，按照 数据库采集 进行Oracle数据库采集，应用采集 进行Oracle应用采集，生成相应的zip格式的数据压缩包，便于后续上传到阿里云ADAM官网进行分析使用。...
支持的云服务
数据集成 MaxCompute可以通过数据集成功能加载不同数据源（例如MySQL数据库）的数据，也可以通过数据集成把MaxCompute的数据导出到各种业务数据库。数据集成功能已集成在DataWorks上，您可以直接在DataWorks上配置MaxCompute数据源并读写...
Java UDAF
说明 在编写UDAF代码过程中，您可以根据MaxCompute项目的数据类型版本选取合适的数据类型，更多数据类型版本及各版本支持的数据类型信息，请参见 数据类型版本说明。合法@Resolve 注解示例如下。Resolve注解示例 说明@Resolve('bigint,...
执行补数据并查看补数据实例（旧版）
补数据可通过补历史或未来一段时间的数据，将写入数据至对应时间分区。代码中的 调度参数，将根据补数据选择的业务时间自动替换为具体值，并结合业务代码将对应时间数据写入指定分区。具体写入的分区与执行的代码逻辑，与任务定义的代码...
资源包购买指南
场景分类 数据库备份仓库资源包 数据库备份空间资源包 数据库备份 ✓ 按照备份数据库的备份库个数，按需购买。✓ 按照数据库原始大小1.5倍购买。若使用中超出资源包容量，可叠加购买。其他场景 场景分类 备份空间资源包 文件数据源数量资源...
大数据AI公共数据集分析
本文以分析公共数据集的数据示例，为您展示如何使用DataWorks进行简单数据分析工作。本教程以申请免费资源为例为您展示详细操作步骤，您也可以使用付费资源，操作类似。教程简介 阿里云DataWorks基于多种大数据引擎，为数据仓库、数据湖、...
支持的产品
区域级 电话报警（预付费）全局 NAT网关资源包 全局 DataWorks独享资源包（包年包月）区域级 云连接器标准版流量处理费资源包 全局 云连接器标准版连接功能费资源包 全局 数据库备份DBS存储包 全局 数据库备份DBS网络包 全局 5G高速上...
备份存储（超出免费额度）计费规则
计算公式：1000 GB×0.00021元/GB/小时=0.21元/小时 使用存储包抵扣数据备份费用 存储包可以抵扣数据备份的费用。若存储包的容量不足以抵扣数据备份的空间用量，超出部分将正常按容量计费（按量付费）。具体的抵扣规则如下：地域类型 抵扣...
备份存储（超出免费额度）计费规则
计算公式：1000 GB×0.00021元/GB/小时=0.21元/小时 使用存储包抵扣数据备份费用 存储包可以抵扣数据备份的费用。若存储包的容量不足以抵扣数据备份的空间用量，超出部分将正常按容量计费（按量付费）。具体的抵扣规则如下：地域类型 抵扣...
新功能发布记录
无 2022年1月 新增云数据库备份存储包 新增云数据库备份存储包，用于抵扣同一账号下RDS、MongoDB云数据库产生的后付费存储费用。说明 自2023年07月01日起，云数据库存储包将不再支持抵扣 RDS基础备份费用（BackupCharged）。如有需求，建议...
文档更新动态（2022年之前）
通用功能 计费说明 2020-05-09 购买 功能拓展 为您介绍购买Dataphin实例时，可以选择数据处理单元、增值功能包（数据服务）和购买时长的拓展规格。通用功能 开通Dataphin 2020-05-09 续费 功能拓展 新增自动续费功能，帮助您快速地续费...
使用网络包
网络包是 数据库备份DBS 推出的一种预付费资源包，支持抵扣同一账号下您在RDS控制台、PolarDB控制台产生的跨地域备份网络费用，或RDS控制台产生的备份集下载网络费用，抵扣部分不再计费，仅超出部分按天计费。覆盖产品包括 RDS MySQL、RDS ...
Spark常见报错
例如：同时访问Hive和RDS MySQL数据源，JAR包中应包含Hive数据源和RDS MySQL数据源的JDBC驱动。CommunicationsException.*Communications link failure 报错出现日志：Driver日志。报错原因：Spark作业中配置的弹性网卡无法访问指定的数据...
备份存储费用说明
计算公式：1000 GB×0.00021元/GB/小时=0.21元/小时 使用存储包抵扣数据备份费用 存储包可以抵扣数据备份的费用。若存储包的容量不足以抵扣数据备份的空间用量，超出部分将正常按容量计费（按量付费）。具体的抵扣规则如下：地域类型 抵扣...
不同引擎支持的脱敏方式
计算引擎 脱敏方式 支持的安全算法 MaxCompute 安全策略算法包、数据库内置函数 若脱敏方式为安全策略算法包，则支持所有脱敏算法，且支持使用FPE加密算法进行脱敏。若脱敏方式为数据库内置函数，则不支持高斯、sha256、sha384、sha512、加...
升级
可选增值功能包 描述 数据萃取 面向各行各业数据价值深度挖掘的诉求，数据萃取为您提供可视化的ID链接、行为解析和标签萃取，进一步帮助您提炼可直接应用的高价值标签数据，助力您实现业务的融会贯通并驱动创新。数据服务 数据服务为您提供...
- 产品推荐
- 这些文档可能帮助您