数据库代理内核发布记录
RDS PostgreSQL数据库代理会不定期更新内核小版本，本文介绍各内核小版本的更新记录，帮助您快速了解各小版本的新功能、优化改进及Bug修复等信息。查看代理内核小版本 访问 RDS实例列表，在上方选择地域，然后单击目标实例ID。在左侧导航栏...
文档修订记录
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
实时同步字段格式
数据集成实时同步MySQL或Oracle数据的记录格式如下。sequence_id_operation_type_execute_time_before_image_after_image_字段1 字段2 字段3 增量事件的记录 ID，值唯一且递增。操作类型（I/D/U）数据对应的时间戳 是否是变更前（Y/N）是否...
混合云备份HBR
存储容量单位包SCU（Storage Capacity Unit）是一种预付费的存储容量资源包，可以抵扣多种不同类型云存储产品的按量付费账单。抵扣系数 SCU可以抵扣多款云产品的部分存储费用，下表列出中国内地SCU抵扣HBR存储费用时的抵扣系数。说明 其他...
API列表
CountNodesByNodeGroupId 获取符合分组条件的节点数量 计量统计相关API API 描述 ListGatewayTransferPackets 获取网关上下行数据包 GetGatewayTransferPacketsDownloadUrl 获取网关上下行数据CVS文件 ListNodeGroupTransferPackets 获取...
RDS for MySQL查看增量数据的方法
SQL洞察 SQL洞察 会统计所有的DML和DDL操作的信息，这些信息是采集系统对网络上的包进行采集得到的。SQL洞察并不会解析实际的参数的值，并且在SQL查询量较大的时候会丢失少量的记录。因此通过这种方式来统计准确的增量数据是不精确的。...
RDS MySQL查看增量数据的方法
SQL洞察 SQL洞察 会统计所有的DML和DDL操作的信息，这些信息是采集系统对网络上的包进行采集得到的。SQL洞察并不会解析实际的参数的值，并且在SQL查询量较大的时候会丢失少量的记录。因此通过这种方式来统计准确的增量数据是不精确的。...
实时同步常见问题
实时同步MySQL数据常见问题 实时同步MySQL数据源的数据时，一开始读到数据，一段时间后无法读到数据，怎么处理？实时同步Oracle、PolarDB、MySQL常见问题 实时同步Oracle、PolarDB、MySQL任务重复报错 报错信息与解决方案 报错信息与解决...
GetOpSensitiveData
调用GetOpSensitiveData，获取租户下所有DataWorks工作空间指定日期的敏感数据访问记录。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 ...
管理数据树
查看栅格波段地图：在数据表 操作 栏勾选任意栅格行记录，可以在地图上预览当前栅格的第一个波段的数据。说明 当勾选多个数据时，右侧的地图将展示勾选的多个栅格数据记录的预览效果。新建项目并添加 在数据树中选择需要添加的数据表，单击...
从SLS同步
说明 具体的脏数据记录，您可以单击投递任务 操作 列的 监控 查看。单击 确定。成功配置SLS数据投递后，您可以在 日志投递 页面查看投递任务。任务状态从 待同步 变更为 同步中 后，即成功开启SLS日志投递。说明 您可以对投递任务进行 监控...
名词解释
TABLE 〇 〇 Table（表）是一种结构化的数据对象，用于存储和组织相关的数据记录。构建表时需要定义表的Schema结构，包括表的列名和列类型。在宽表引擎中创建的表称为 宽表，在时序引擎中创建的表称为 时序表。PRIMARY KEY 〇 〇 Primary ...
安全体系概述
一个VPC内的ECS（Elastic Compute Service）实例之间的传输数据包都会加上隧道封装，带有唯一的隧道号标识，然后通过物理网络进行传输。不同VPC内的ECS实例由于所在的隧道号不同，本身处于两个不同的路由平面，因此不同VPC内的ECS实例无法...
PolarDB MySQL版同步至MaxCompute
由于MaxCompute不支持主键约束，当DTS在同步数据时因网络等原因触发重传，可能会导致MaxCompute中出现重复记录。其他注意事项 DTS会在源库定时执 CREATE DATABASE IF NOT EXISTS `test` 命令以推进Binlog位点。费用说明 同步类型 链路配置...
网络质量分析首页
网络质量分析通过丢包率、延迟等网络层的时序数据聚合，对网络质量进行分析，通过指标大盘和地图等可视化方式对业务网络情况进行观测。指标大盘 范围：用户权限下 接入端应用数、探测目标数、今日活跃用户、今日探测数量。延迟、丢包率时序...
SQL洞察和审计
开启该功能后会自动记录来自数据库内核的SQL语句，以及SQL语句的执行账号、IP地址、执行详情等信息，对实例性能没有影响。前提条件 RDS MySQL实例为高可用系列或集群系列。如果是RAM用户，使用 搜索 功能时，需要为RAM用户授予 ...
SQL洞察和审计
开启该功能后会自动记录来自数据库内核的SQL语句，以及SQL语句的执行账号、IP地址、执行详情等信息，对实例性能没有影响。前提条件 RDS MySQL实例为高可用系列或集群系列。如果是RAM用户，使用 搜索 功能时，需要为RAM用户授予 ...
创建备份计划
DBS会根据RDS跨地域备份的数据量按量付费，购买网络包后，网络包较按量付费更加优惠，且您购买的网络包容量越大，折扣力度越大，详情请参见 使用网络包。无需购买：如果您在DBS控制台备份RDS数据库、ECS自建数据库、本地IDC数据库或其他云...
流日志概述
专有网络VPC（Virtual Private Cloud）提供流日志功能，可以记录VPC网络中弹性网卡ENI（Elastic Network Interface）传入和传出的流量信息，帮助您检查访问控制规则、监控网络流量和排查网络故障。功能发布及地域支持情况 首次使用流日志...
Binlog日志服务
记录级别 按照数据行的主键计算Hash值并进行分发，即对应同一数据行的binlog数据，会始终按序路由给同一个binlog数据流，适用于希望将数据充分打散且不要求日志数据按库或按表保持有序的场景，该策略要求数据表必须含有主键，无主键表的...
新建 Kafka 数据源
配置好数据源是创建数据迁移或数据同步项目的前提。本文为您介绍如何在数据传输中新建 Kafka 数据源。使用限制 数据传输仅支持 Kafka 数据源作为数据同步的目标端。背景信息 数据传输的安全问题，贯穿服务连通性验证、链路创建和数据传输...
数据去重
适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 使用说明 选择去重字段 选择需要去重的字段，选中的字段将作为该算子的输出字段，数据中若包含多条重复记录则仅保留第一条数据。
管理Agent
修改Agent配置 数据库审计支持设置Agent的运行模式和数据审计抓包规则，比如CPU亲和性、最大CPU使用率、最大内存使用量、抓包网口等，您可以参考以下步骤修改Agent配置。登录数据库审计系统。具体操作，请参见 登录数据库审计系统。在左侧...
Query Profile介绍
NetworkTime 数据包传输时间（不包括接收后处理时间）。WaitTime 由于发送端队列满而导致的等待时间。NetworkBandwidth 网络带宽。Source 指标 说明 SenderWaitLockTime 等锁时间。BytesReceived 接收的数据大小。DecompressChunkTime 解压...
购买流程
数据传输服务DTS（Data Transmission Service）支持先配置再购买和先购买再配置两种创建任务方式。若您需要随用随配，建议您选择先配置再购买的方式；若您需要先锁定财务预算而不需要配置任务，建议您选择先购买再配置的方式。本文介绍数据...
数据迁移链路规格说明
使用DTS可实现数据秒级增量迁移到目标实例，但受限于源实例的运行负载、传输网络的带宽、网络延时、目标实例写入性能等多种因素的影响，DTS增量迁移任务会出现延迟增大的情况，无法绝对保证秒级延迟。名词解释 名词 说明 规格 数据传输为...
阶段一：基础防护建设
例如：《金融数据安全分级指南 JR/T 0197-2020》《网络安全标准实践指南——网络数据分类分级指引》《信息安全技术个人信息安全规范 GB/T 35273—2020》《信息技术大数据数据分类指南 GB/T 38667-2020》《基础电信企业数据分类分级方法 YD/...
常见问题
支持的数据库部署位置（接入方式）阿里云实例 有公网IP的自建数据库 通过数据库网关DG接入的自建数据库 通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 阿里云实例 通过数据库网关DG接...
ClickHouse整库数据离线同步至Hologres
准备独享数据集成资源组并与数据源网络连通 在进行数据同步前，需要完成您的独享数据集成资源组和数据源的网络连通，详情请参见 配置网络连通。如果您的独享数据集成资源组和数据源属于同一地域，可使用同地域VPC内网连通独享资源组和数据...
UDAF概述
如果您的UDF涉及访问VPC网络中的资源时，需要先创建MaxCompute与目标VPC网络间的网络连接，才可以直接通过UDF访问VPC网络中的资源，操作详情请参见 通过UDF访问VPC网络资源。读取表数据 目前版本不支持使用UDF/UDAF/UDTF读取以下场景的表...
Kafka实时ETL同步至Hologres
准备独享数据集成资源组并与数据源网络连通 在进行数据同步前，需要完成您的独享数据集成资源组和数据源的网络连通，详情请参见 配置网络连通。说明 Kafka与Hologres支持的网络类型如下：Kafka:指定VPC网络、公网。Hologres:指定VPC网络、...
EMR Hive数据整库离线同步至MaxCompute
准备独享数据集成资源组并与EMR Hive网络连通 在进行数据同步前，需要完成您的独享数据集成资源组和数据源的网络连通，详情请参见 配置网络连通。如果您的独享数据集成资源组和EMR数据源属于同一地域，可使用同地域VPC内网连通独享资源组和...
EMR Hive数据整库离线同步至MaxCompute
准备独享数据集成资源组并与EMR Hive网络连通 在进行数据同步前，需要完成您的独享数据集成资源组和数据源的网络连通，详情请参见 配置网络连通。如果您的独享数据集成资源组和EMR数据源属于同一地域，可使用同地域VPC内网连通独享资源组和...
功能特性
PolarDB MySQL数据导入 PolarDB-X数据导入 自建MySQL数据源 AnalyticDB for MySQL支持通过外表将ECS自建MySQL数据库中的数据导入至数仓版集群，同时也支持将数仓版集群中的数据导出至自建的MySQL数据库。自建MySQL数据导入 导出至自建MySQL...
MaxCompute UDF概述
如果您的UDF涉及访问VPC网络中的资源时，需要先创建MaxCompute与目标VPC网络间的网络连接，才可以直接通过UDF访问VPC网络中的资源，操作详情请参见 通过UDF访问VPC网络资源。读取表数据 目前版本不支持使用UDF/UDAF/UDTF读取以下场景的表...
排查订阅任务问题
重要 使用该工具包会更新控制台上指定订阅组的消费位点信息，SUBSCRIBE模式依赖的服务端记录的消费位点信息不会更新。前提条件 订阅客户端已安装Java环境，建议安装JDK 1.8及以上版本。操作步骤 将工具包 dts_subscribe_sdk_dep_demo 下载...
Linux实例网站访问丢包延时高的排查方法
traceroute命令行工具 traceroute是几乎所有Linux发行版本预装的网络测试工具，用于跟踪Internet 协议（IP）数据包传送到目标地址时经过的路径。traceroute先发送最大存活时间值（Max_TTL）的UDP探测数据包，然后侦听从网关开始的整个链路...
同阿里云主账号访问
在进行数据同步前，您需要确保用于执行同步任务的独享数据集成资源组与您将要同步的数据来源端与目的端数据源的网络连通性。本文为您介绍数据源与DataWorks工作空间同阿里云主账号时如何进行网络连通。背景信息 网络连通方案选择取决于数据...
跨阿里云主账号访问
您在跨账号进行数据同步任务之前，需要设置并确保执行任务的独享数据集成资源组，与源端及目标端数据库之间的网络连通性。本文将为您介绍在使用跨阿里云账号时，数据库与DataWorks工作空间之间的网络连通操作。背景信息 网络连通方案选择取...
Kafka数据源
offset Long timestamp Long headers String partition Long 离线写数据 DataWorks将数据写入Kafka时，支持写入JSON格式或text格式的数据，不同的数据同步方案往Kafka数据源中写入数据时，对数据的处理策略不一致，详情如下。重要 写入text...
- 产品推荐
- 这些文档可能帮助您