监控与报警
网络接收数据量（作业维度）指定作业的网络接收数据量（MB）。网络发送数据量（作业维度）指定作业的网络发送数据量（MB）。GPU算力使用率（作业维度）指定作业的GPU算力使用率。GPU显存使用率（作业维度）指定作业的GPU显存使用率。GPU SM...
使用执行计划分析查询
算子层计划执行树 算子层执行计划由多个算子组成，图中的每个矩形框代表一个算子，数据流向自下而上，扫描数据过程或接收网络数据由最上游的算子（TableScan和RemoteSource）完成，扫描到的数据和接收到的网络数据经过中间算子层层处理后，...
PolarDB PostgreSQL版间的迁移
本文介绍如何使用数据传输服务DTS（Data Transmission Service），实现 PolarDB PostgreSQL版 集群间的数据迁移。前提条件 已创建存储空间大于源 PolarDB PostgreSQL版 已占用存储空间的目标 PolarDB PostgreSQL版 集群。创建方法，请参见 ...
PolarDB-X 2.0迁移至自建Oracle
前提条件 已创建用于接收数据的自建Oracle，且Oracle可用的存储空间需要大于源 PolarDB-X 2.0 已使用的存储空间。自建Oracle中已创建用于接收数据的Schema。说明 创建用户时会自动创建一个对应的Schema。注意事项 说明 在库表结构迁移过程...
PolarDB-X 2.0同步至自建Oracle
前提条件 已创建用于接收数据的自建Oracle，且Oracle可用的存储空间需要大于源 PolarDB-X 2.0 已使用的存储空间。自建Oracle中已创建用于接收数据的Schema。说明 创建用户时会自动创建一个对应的Schema。注意事项 说明 在库表结构同步过程...
PolarDB-X 2.0同步至AnalyticDB PostgreSQL版
数据传输服务DTS（Data Transmission Service）支持将 PolarDB-X 2.0 的数据同步至 云原生数据仓库AnalyticDB PostgreSQL版，帮助您轻松实现数据的流转。通过 AnalyticDB PostgreSQL版 提供的数据在线分析服务和离线数据处理功能，您可以对...
Db2 for LUW迁移至云原生数据仓库 AnalyticDB ...
如为增量迁移任务，DTS要求源数据库的数据日志保存24小时以上，如为全量迁移和增量迁移任务，DTS要求源数据库的数据日志至少保留7天以上（您可在全量迁移完成后将数据日志保存时间设置为24小时以上），否则DTS可能因无法获取数据日志而导致...
自建Oracle迁移至PolarDB PostgreSQL版
PolarDB PostgreSQL版 集群是具备高性能、海量存储、安全可靠的数据库服务，本文介绍如何使用数据传输服务DTS（Data Transmission Service）将自建Oracle迁移至 PolarDB PostgreSQL版 集群。前提条件 已创建存储空间大于源自建Oracle占用...
不同库名间的数据同步或迁移
数据传输服务DTS（Data Transmission Service）支持在配置数据同步或迁移任务时对数据（库、表、列）的名称进行映射，以设置任务对象在目标库实例中的名称。您可以通过该功能将数据同步或迁移到目标库中指定的数据库、数据表或字段（列），...
库表列名映射
需要提前在目标库实例中创建用于接收数据的对象，并确保数据的兼容性。迁移任务：迁移类型 无需勾选 库表结构迁移。同步任务：同步类型 无需勾选 库表结构同步。在目标库实例中创建一个新对象。仅迁移任务支持，迁移类型 需只勾选 库表结构...
如何通过合并请求进行数据分发
本文以 通用标题 组件请求数据，分发给 数字翻牌器 和 多行文本 组件，完成数据更新为例，介绍如何通过合并请求进行数据分发。效果展示 使用场景 多个组件的数据可以通过API或SQL数据源等一次获取，再进行数据分发，减少数据请求次数。操作...
实现数据分发
本文以 通用标题 组件请求数据，分发给 数字翻牌器 和 多行文本 组件，完成数据更新为例，介绍如何通过合并请求进行数据分发。效果展示 使用场景 多个组件的数据可以通过API或SQL数据源等一次获取，再进行数据分发，减少数据请求次数。操作...
管理报警
数据库备份DBS 已接入云监控平台，通过对重要的监控指标设置报警规则，让您及时得知指标数据发生异常，帮您迅速定位处理故障。报警说明 报警配置项 说明 报警触发条件 关闭增量日志备份、开启增量日志备份、增量备份异常、备份网关离线、...
功能发布记录 2022年之前
您可以购买该功能模块，将数据模型设计管控、引标落标等能力融入DataWorks规范化开发流程，助力您实现数据资产价值化输出，在数据全生命周期上夯实数据基础，为数据价值化提供有力支撑。2021.02.20 全部地域。DATABLAU数据建模计费标准 ...
Sensors Data（神策）数据源
DataWorks数据集成支持使用Sensors Data Writer将数据写至Sensors Data，本文为您介绍DataWorks的Sensors Data数据同步的能力支持情况。使用限制 目前仅华南1（深圳）地域支持绑定Sensors Data数据源，其他地域会陆续支持，敬请期待！不...
流式读写
本文介绍Delta Lake作为数据源和数据接收端如何流式读写数据。Delta Table作为数据源（Source）spark.readStream.format("delta").option("maxFilesPerTrigger",1000).load("/tmp/delta_table")maxFilesPerTrigger 指定了一个批次最多处理...
Kafka实时ETL同步至Hologres
在 数据输出预览 窗口，您可以根据需要修改输入数据，或者单击 手工构造数据 按钮自定义输入数据，然后单击 预览 按钮，查看当前数据处理节点对数据的处理结果，当数据处理节点处理异常，或者产生脏数据时，也会实时反馈异常信息，能够帮助...
蓝图编辑器精选案例实战
[{"num":"123","text":"这是多行文本组件","value":"接收数据组件"}]在画布编辑器页面，选择 图层 栏3个组件，并分别右键单击 导出到蓝图编辑器。在蓝图编辑器页面的 导入节点 栏，单击三个组件节点，分别添加到蓝图编辑器画布中，并在画布...
数据重排
在MaxCompute的使用过程中，如果已经积累了大量数据占用了大量存储资源，且已经通过削减数据存储生命周期和删除非必要数据等方式进行了治理，在您的存储预算有限，计算资源还有冗余的情况下，可以考虑使用数据重排方式对存储空间进行优化。...
添加ClickHouse数据源
但是由于VPC网络实现机制的原因，有时控制台显示的实例ID并不是DataV数据源配置VPC网络需要的实例ID。因此您需要通过数据库产品的OpenAPI获取DataV需要的VPC实例ID，通常为数据库实例详情中的 VPCCloudInstanceId 或 VPCInstanceId，具体...
添加ClickHouse数据源
网络 数据源可选的网络类型。说明 当前仅支持外网访问。域名 连接数据库的地址。重要 该地址是DataV服务器能够通过公网或阿里云部分Region内网访问您数据库的域名或IP地址。端口 数据库设置的端口。用户名 登录数据库的用户名。密码 登录...
导入概述
为了更好地满足各种不同的业务场景，StarRocks支持多种数据模型，StarRocks中存储的数据需要按照特定的模型进行组织。本文为您介绍数据导入的基本概念、原理、系统配置、不同导入方式的适用场景，以及一些最佳实践案例和常见问题。背景信息...
导入概述
为了更好地满足各种不同的业务场景，StarRocks支持多种数据模型，StarRocks中存储的数据需要按照特定的模型进行组织。本文为您介绍数据导入的基本概念、原理、系统配置、不同导入方式的适用场景，以及一些最佳实践案例和常见问题。背景信息...
网络连通与白名单配置
在调用API时，为了防止资源组不能正常访问数据源，您需要在数据源中配置IP白名单，从而确保资源组的网络连通性。本文为您介绍不同资源组类型对应的IP白名单或其获取方式，以及在数据源中配置IP白名单时的注意事项。获取白名单IP地址：公共...
审计经典网络数据库实例
如果需要审计经典网络数据库实例，您需要先通过ClassicLink功能实现经典网络的ECS与VPC中的数据库审计系统互通，并在经典网络的ECS上部署Agent程序。前提条件 VPC中启用ClassicLink时，需要满足限定条件，具体请参见ClassicLink概述的 使用...
Napatech案例
业务挑战 随着网络数据流量的爆增以及业务可用性要求的不断提升，Napatech公司的用户可以将数据包采集和分析的能力提升至200G，然而上层软件产生的流量数据包元数据也爆增，给后台数据库（比如开源的HBase/ElasticSearch）的存储和索引能力...
内置时空数据引擎Ganos
PolarDB PostgreSQL版（兼容Oracle）内置了时空数据库引擎Ganos，可对空间/时空数据进行高效的存储、索引、查询和分析计算。从静态POI（兴趣点）到APP位置信息，从电子地图到移动对象轨迹，从卫星遥感到泛在物联网，空间和时空信息已成为...
安装Agent
数据库审计系统的Agent程序是部署在用户终端或目标数据库服务器上的功能插件，用来转发数据库访问流量到审计系统。您需要根据数据库服务器的类型，选择合适的方式来安装Agent，才能使数据库审计服务收集目标数据库的访问流量信息。本文介绍...
阶段一：基础防护建设
例如：《金融数据安全分级指南 JR/T 0197-2020》《网络安全标准实践指南——网络数据分类分级指引》《信息安全技术个人信息安全规范 GB/T 35273—2020》《信息技术大数据数据分类指南 GB/T 38667-2020》《基础电信企业数据分类分级方法 YD/...
Pod监控
网络数据包 网络数据包 区域显示该应用在指定时间段的Pod的网络数据包情况，包括以下指标：网络发送丢弃的报文数 网络发送的报文数 网络接收丢弃的报文数 网络发送的错误数 网络接收的错误数 可选：在 网络数据包 区域，您可以执行以下操作...
容器监控
网络数据包 网络数据包 区域显示该应用在指定时间段的Pod的网络数据包情况，包括以下指标：网络发送丢弃的报文数 网络发送的报文数 网络接收丢弃的报文数 网络发送的错误数 网络接收的错误数 可选：在 网络数据包 区域，您可以执行以下操作...
云网络互访性能观测
探测集群会在网络上定时发送和接收性能探测数据包并将汇总统计后的数据发送并呈现在性能观测页面。由于探测集群内的测试机与租户完全独立，因此不会影响或消耗您的任何资源。性能观测数据与您在阿里云上实际部署的资源情况无关。云网络互访...
同步 OceanBase 数据库的数据至 RocketMQ
本文为您介绍如何使用数据传输同步 OceanBase 数据库的数据至 RocketMQ。背景信息 消息队列 RocketMQ 是阿里云基于 Apache RocketMQ 构建的低延迟、高并发、高可靠的分布式消息中间件。数据传输的数据同步功能可以帮助您实现 OceanBase ...
同步 OceanBase 数据库 MySQL 租户的数据至 Analytic...
注意事项 当 OceanBase 数据库 V4.x 进行增量同步时，如果生成列没有标记 STORED 属性，则同步目标端时该列将同步为 NULL 值，导致下游接收该列数据时不符合预期。节点之间的时钟不同步，或者电脑终端和服务器之间的时钟不同步，均可能导致...
同步 OceanBase 数据库的数据至 Kafka
背景信息 Kafka 是目前广泛应用的高性能分布式流计算平台，数据传输支持 OceanBase 数据库两种租户与自建 Kafka 数据源之间的数据实时同步，扩展消息处理能力，广泛应用于实时数据仓库搭建、数据查询和报表分流等业务场景。前提条件 数据...
常见问题
支持的数据库部署位置（接入方式）阿里云实例 有公网IP的自建数据库 通过数据库网关DG接入的自建数据库 通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 阿里云实例 通过数据库网关DG接...
文档修订记录
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
教程概述
物联网平台接收到数据后通过规则引擎转发至DataHub。在DataHub中通过DataConnector将数据同步到RDS MySQL数据库中。使用DataV将RDS MySQL中的数据展示在大屏上。说明 物联网平台转发至DataHub，是因为DataHub可以将数据同步至MaxCompute，...
空间数据类型
车辆、船舶接收到的GPS坐标信息。LineString 表示线类型数据，由两个或多个点组成。前一条线段的终点是下一条线段的起点。说明 一条线段必须有两个及以上的点，连续顶点可以相等。一条街道可能由多个LineString组成。在一定时间范围内，某...
区块概述
区块接口节点说明 区块定义内部和外部的数据传输，依靠蓝图编辑器中的 数据接口 节点、事件接口 节点和 动作接口 节点进行配置，不同接口的区别如下：数据接口：用于接收外部数据源传入区块的数据，再通过蓝图编辑器分发数据给内部的组件。...
- 产品推荐
- 这些文档可能帮助您