新增实时任务
说明 若目标端的数据对象中没有与数据源的数据对象对应目标表，则可在数据对象下拉列表中，选择 创建目标表，在目标端中新建数据对象。配置字段映射：在 字段映射 区域，系统默认为同名映射，可根据需要选择同行映射或通过拖拽连线自定义...
配置数据源网络
本文主要介绍Serverless Spark如何配置数据源网络来访问用户VPC网络中的数据。这些数据包括RDS系列、ADB系列、PolarDB系列、MongoDB、Elasticsearch、HBase、E-MapReduce、Kafka以及用户在ECS上自建的各种数据服务等。背景信息 Serverless ...
API列表
id2_client_get_challenge_auth_code 基于挑战应答模式生成设备端认证码，可选携带额外数据extra，携带的extra数据参与设备认证码的签名运算。id2_client_get_timestamp_auth_code 基于时间戳模式生成设备端认证码，可选携带额外数据extra...
新建VPC类型的云计算资源
VPC即专有网络VPC（Virtual Private Cloud），您可将VPC中的阿里云资源添加到数据资源平台中使用。本文以AnalyticDB PostgreSQL资源为例，为您介绍如何新建VPC类型的云计算资源。前提条件 您已开通并搭建专有网络 VPC，具体操作，请参见 ...
OpenAPI列表
发布 GetLatestSubmitDetail 获取最新的待发布记录详情，获取的是数据处理、管道对象、资产分离的某一任务的待发布记录详情。说明 该API只适用于DEV-PROD模式项目。ListObjectsToPublish 待发布记录列表，数据处理、管道对象、资产分离的...
迁移时源库为Oracle的注意事项及限制
如果迁移的源数据库类型为自建Oracle，您需要在配置具体的迁移任务前，参考本文的注意事项及限制，以保障数据迁移任务的正常运行。源库为Oracle的迁移方案概览 根据如下迁移方案，查看迁移任务的注意事项及限制：自建Oracle迁移至PolarDB ...
异构数据源访问
若您需要通过 AnalyticDB PostgreSQL版 访问外部异构数据源（HDFS、Hive和JDBC）时，可以使用异构数据源访问功能将外部数据转换为 AnalyticDB PostgreSQL版 数据库优化后的格式进行查询和分析。功能说明 外部数据源管理提供高性能的结构化...
内置时空数据引擎Ganos
PolarDB PostgreSQL版（兼容Oracle）内置了时空数据库引擎Ganos，可对空间/时空数据进行高效的存储、索引、查询和分析计算。从静态POI（兴趣点）到APP位置信息，从电子地图到移动对象轨迹，从卫星遥感到泛在物联网，空间和时空信息已成为...
pg_locks
有多种不同类型的可锁对象：整个关系（如表）、关系的单个页、关系的单个元组、事务 ID（包括虚拟和永久 ID）和普通数据库对象（由类 OID 和对象 OID 标识，和 pg_description 或 pg_depend 中的相同方式）。扩展一个关系的权力也被表示为...
pg_locks
存在几种不同类型的可锁定对象：整个关系（例如，表）、关系的单独页面、关系的单独元组、事务ID（包括虚拟ID和永久ID）以及一般数据库对象（通过类OID和对象OID标识，就像在 pg_description 或 pg_depend 中一样）。此外，扩展一张表的...
创建Impala数据源
通过创建Impala数据源能够实现Dataphin读取Impala的业务数据或向Impala写入数据。本文为您介绍如何创建Impala数据源。背景信息 Impala是用于处理存储在Hadoop集群中大量数据的SQL查询引擎。如果您使用的是Impala，在导出Dataphin数据至...
数据库画像
数据库画像是数据库评估的基础数据，可以帮助您更好地了解自己的源数据库，在数据库迁移、改造等阶段，可以快速查找源数据库信息，指导迁移与改造。新建画像 登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与开发（DTS）>异构数据库迁移...
权限操作审计
Dataphin支持对数据表、数据源的权限变更操作进行查看与审计，以此来判断授权、回收、交还等操作的合理性。本文为您介绍如何对数据表或数据源的权限操作进行查看和审计。使用限制 超级管理员、系统管理员和安全管理员支持对权限操作进行...
简单上传
您可以通过简单上传（即putObject方式）将File对象、Blob数据以及OSS Buffer上传到OSS文件。简单上传时不支持使用进度函数。前提条件 已安装OSS Browser.js SDK。具体操作，请参见 安装。注意事项 当您使用webpack或browserify等打包工具时...
权限操作审计
Dataphin支持对数据表、数据源的权限变更操作进行查看与审计，以此来判断授权、回收、交还等操作的合理性。本文为您介绍如何对数据表或数据源的权限操作进行查看和审计。使用限制 超级管理员、系统管理员和安全管理员支持对权限操作进行...
添加实时数仓Hologres数据源
选择内网数据库的网络类型（包括 专有网络 和 经典网络）。专有网络 打开 VPC 开关，进入 专有网络 模式。填写数据库信息。参数 说明 VPC ID Hologres实例绑定的指定VPC的VPC ID。进入 Hologres管理控制台 的实例详情页，从 网络信息 的...
配额与限制
说明 如果未指定，则读取数据时将全表扫描（低效查询），且该扫描请求可能会被系统默认拒绝。如果您想要强制执行低效查询，请参见 低效查询。使用 ORDER BY 语句排序时，必须添加limit条件。使用 ORDER BY 语句排序时，LIMIT不能大于10000...
添加实时数仓Hologres数据源
选择内网数据库的网络类型（包括 专有网络 和 经典网络）。专有网络 打开 VPC 开关，进入 专有网络 模式。填写数据库信息。参数 说明 VPC ID Hologres实例绑定的指定VPC的VPC ID。进入 Hologres管理控制台 的实例详情页，从 网络信息 的...
准备数据源和计算源
在使用Dataphin前，您需要选择符合业务场景需求的数据库或数据仓库作为数据源，用于读取原始数据和写入数据建设过程中的数据；同时您需要准备MaxCompute项目、Flink项目作为Dataphin的计算源，为数据的研发提供计算资源。准备数据源 ...
图形
获取图形对象 获取当前工作表上所有Shape对象的集合。语法 表达式.ActiveWorkbook.ActiveSheet.Shapes 表达式：文档类型应用对象 示例 async function example(){ await instance.ready();const app=instance.Application;获取活动工作簿中...
数据源概览
本章节主要介绍如何使用Databricks数据洞察完成对多种数据源的读写，以及如何使用Databricks数据洞察完成与其他阿里云产品数据源之间的网络连接。静态数据源 Databricks数据洞察支持直接读取静态数据源。CSV文件 JSON文件 Parquet文件 ORC...
Chart
语法 表达式.ActiveWorkbook.ActiveSheet.Shapes.Item(Index).Chart.SetSourceData({ Source,PlotBy })表达式：文档类型应用对象 参数 属性 数据类型 是否必填 描述 Source Range 是 包含源数据的区域，可用Range对象。PlotBy Enum 否 指定...
0041-00000104
问题描述 请求触发镜像回源时，无法从源站读取数据。问题原因 因源站异常导致请求触发镜像回源时，无法从源站读取数据。问题示例 无 解决方案 检查是否能正常访问镜像回源地址中的文件。排查源站异常 相关文档 镜像回源
专有网络VPC的数据源连通独享数据集成资源组
在显示的页面中，找到您需要建立连接的数据库，获取 数据库名。在左侧导航栏，单击 账号管理，获取绑定数据库的 账号（即创建数据源时需要输入的 用户名）。新增独享数据集成资源组。登录 DataWorks控制台。选择相应地域后，在左侧导航栏，...
通过数据订阅实现缓存更新策略
数据订阅任务参数 参数 说明 获取方式 brokerUrl 数据订阅通道的网络地址及端口号信息。说明 如果您部署SDK客户端所属的ECS实例与数据订阅通道属于经典网络或同一专有网络，建议通过内网地址进行数据订阅，网络延迟最小。在DTS控制台单击...
从RDS同步至自建Kafka集群
Kafka是应用较为广泛的分布式、高吞吐量、高可扩展性消息队列服务，普遍用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域，是大数据生态中不可或缺的产品之一。通过数据传输服务DTS（Data Transmission Service），...
从MongoDB单节点实例迁移至副本集或分片集群实例
如果您的数据库小版本过期或者不在维护列表内，当执行 实例版本升级、数据迁移、变更实例配置、按备份点将备份数据恢复至新建实例、按时间点将备份数据恢复至新建实例 或 恢复云数据库MongoDB单个或多个数据库 等操作时，为保证提供更出色...
从ECS上的自建MySQL同步至自建Kafka集群
Kafka是应用较为广泛的分布式、高吞吐量、高可扩展性消息队列服务，普遍用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域，是大数据生态中不可或缺的产品之一。通过数据传输服务DTS（Data Transmission Service），...
从ECS上的自建MySQL同步至自建Kafka集群
Kafka是应用较为广泛的分布式、高吞吐量、高可扩展性消息队列服务，普遍用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域，是大数据生态中不可或缺的产品之一。通过数据传输服务DTS（Data Transmission Service），...
使用DTS迁移副本集架构的自建MongoDB数据库上云
说明 如果您的自建数据库配置了白名单安全类设置，您需要在 实例地区 配置项后，单击 获取DTS IP段 来获取DTS服务器的IP地址，并将获取到的IP地址加入自建数据库的白名单安全设置中。数据库类型 选择 MongoDB。主机名或IP地址 填入自建...
从自建PostgreSQL全量迁移至RDS PostgreSQL
说明 如果您的自建PostgreSQL数据库进行了白名单安全设置，您需要在 实例地区 配置项后，单击 获取DTS IP段 来获取到DTS服务器的IP地址，并将获取到的IP地址加入自建PostgreSQL数据库的白名单安全设置中。数据库类型 选择 PostgreSQL。主机...
使用DTS迁移副本集架构的自建MongoDB数据库上云
说明 如果您的自建数据库配置了白名单安全类设置，您需要在 实例地区 配置项后，单击 获取DTS IP段 来获取DTS服务器的IP地址，并将获取到的IP地址加入自建数据库的白名单安全设置中。数据库类型 选择 MongoDB。主机名或IP地址 填入自建...
分片集群实例连接说明
获取数据库连接地址 登录 MongoDB管理控制台。在左侧导航栏，单击 分片集群实例列表。在页面左上角，选择实例所在的资源组和地域。单击目标实例ID或目标实例所在行 操作 列的 管理。在目标实例页面的左侧导航栏，单击 数据库连接。获取目标...
API概览
通用服务 API 标题 API概述 GetRegionStatus 获取数据湖构建服务开通状态 获取数据湖构建指定地域的服务开通状态。GetServiceStatus 获取某个用户的服务开通状态 获取数据湖构建某个用户的服务开通状态。DescribeRegions 获取开通的地区 ...
数据源配置常见问题
如果您的API使用了DataV暂不支持的数据源或接口，例如调用函数计算等，此类API也可以通过阿里云API网关中的数据源来获取数据。数据库数据源配置时报timeout，该如何处理？确认您是否已经完成 数据库白名单的配置。如果您的数据源为阿里云...
数据源配置常见问题
如果您的API使用了DataV暂不支持的数据源或接口，例如调用函数计算等，此类API也可以通过阿里云API网关中的数据源来获取数据。数据库数据源配置时报timeout，该如何处理？确认您是否已经完成 数据库白名单的配置。如果您的数据源为阿里云...
对象存储优化
分析数据访问模式并对数据进行转储或删除 您可以分析数据访问模式并配置 生命周期规则，自动将访问频率较低的数据转换为成本更低的存储类型，或者在到期日之后自动删除数据。例如，通过将数据从标准存储转换为低频访问存储，您可以节省高达...
SpringJDBC 连接 OceanBase 数据库
代码如下：public class Main { public static void main(String[]args){/数据库连接信息/创建数据源/创建 JdbcTemplate 对象/创建表/插入数据/更新数据/删除数据/查询数据/删除表 } } 定义数据库连接信息。定义用于连接数据库的 URL、用户...
添加RDS for PostgreSQL数据源
因此您需要通过数据库产品的OPEN API获取DataV需要的VPC实例ID，通常为数据库实例详情中的VpcCloudInstanceId或VpcInstanceId，具体数据库产品获取VPC实例ID的接口，请参见 RDS for PostgreSQL获取VPC实例ID接口。域名 连接数据库的地址。...
添加RDS for PostgreSQL数据源
因此您需要通过数据库产品的OPEN API获取DataV需要的VPC实例ID，通常为数据库实例详情中的VpcCloudInstanceId或VpcInstanceId，具体数据库产品获取VPC实例ID的接口，请参见 DescribeDBInstanceAttribute-查询实例详情。域名 连接数据库的...
- 产品推荐
- 这些文档可能帮助您