技术原理
全量迁移 系统选择当前时间之前的一个时间点，将这个时间点之前的数据进行全量的数据复制迁移。增量数据同步 完成全量迁移后，基于全量迁移开始之前时间点的增量变更日志进行增量同步，最终原分库和目标分库数据实时同步。数据校验 增量...
监控与报警
InboundRatelimitDropBandwidth userId、instanceId、regionNo Value 入方向限速丢包速率 当前接入点入方向限速丢包时，被丢弃的数据包速率。单位：pps。InboundRatelimitDropSpeed userId、instanceId、regionNo Value 出方向带宽 当前接...
冷热分层
通过结合Delta Lake和上下游组件，您可以搭建出一个便捷、易用、安全的数据湖架构。在数据湖架构设计中，通常会应用HTAP（Hybrid Transaction and Analytical Process）体系结构，通过合理地选择分层存储组件和计算引擎，既能支持海量数据...
透明数据加密概述
加密解密流程 所有加密解密操作均在内存中进行，内存中的数据是明文，磁盘中的数据是密文，这可以避免因磁盘被盗而产生的数据泄露问题，同时数据库的使用方式保持不变，没有适配成本。数据库启动时会从KMS获取KEK，从而解密DEK，解密后的...
DataWorks数据服务对接DataV最佳实践
DataV通过与DataWorks数据服务的对接，通过交互式分析Hologres连接DataWorks数据服务开发并生成API，快速在DataV中调用API并展现MaxCompute的数据分析结果。数据服务对接DataV产生背景 MaxCompute是阿里巴巴集团自主研究的快速、完全托管的...
查看运行分析
运行分析不仅可以支持对实时实例信息进行分析、刷新等操作，也可以展示失败次数、反压情况、各Sink的数据输出、Checkpoint失败次数等信息。运行分析入口 在Dataphin首页，单击顶部菜单栏 研发，再单击 运维，进入运维中心页面。在运维中心...
创建ClickHouse数据源
前提条件 若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至数据库白名单（或安全组）中，使数据源与Dataphin网络互通。具体操作，请参见 数据源白名单配置。权限说明 Dataphin仅支持 超级管理员、...
调试实时任务
自动抽样数据 自动抽样到的数据是随机的，所以适用于对采集到的数据没有限制的场景。针对HBase、MySQL、MaxCompute、DataHub、Kafka数据源支持自动抽样数据，您可以单击 自动抽样，进行抽样数据。说明 Kafka中支持json、csv、canal-json、...
调试实时任务
自动抽样数据 自动抽样到的数据是随机的，所以适用于对采集到的数据没有限制的场景。针对HBase、MySQL、MaxCompute、DataHub、Kafka数据源支持自动抽样数据，您可单击 自动抽样，进行抽样数据。说明 Kafka中支持json、csv、canal-json、...
创建ClickHouse数据源
如果需要根据所处环境自动访问对应环境的数据源，请通过${数据源编码}.table 或${数据源编码}.schema.table 的变量格式访问。更多信息，请参见 Dataphin数据源表开发方式。重要 目前仅支持 MySQL、Hologres、MaxCompute 数据源。数据源编码...
终端节点监控项
bit/s 平均值 VpcEndpointInPps 终端节点流入数据包速率 从VPC网络访问终端节点的数据包速率。packet/s 平均值 VpcEndpointOutPps 终端节点流出数据包速率 从终端节点访问VPC网络的数据包速率。packet/s 平均值 VpcEndpointInDropBps 终端...
终端节点服务监控项
bit/s 平均值 VpcEndpointServiceInPps 终端节点服务流入数据包速率 从VPC网络访问终端节点服务的数据包速率。packet/s 平均值 VpcEndpointServiceOutPps 终端节点服务流出数据包速率 从终端节点服务访问VPC网络的数据包速率。packet/s ...
监控IPsec连接
IPsec连接监控指标 IPSec连接流入包速率：表示监控IPsec连接接收到的数据包的速率。IPSec连接流出包速率：表示监控IPsec连接发出的数据包的速率。IPSec连接流入带宽：表示监控IPsec连接接收到的流量速率。IPSec连接流出带宽：表示监控IPsec...
备份及恢复速率
本文的备份和恢复速率是在实验室测试环境下的数据，仅供您参考。在实际使用中，由于网络、带宽等因素，备份和恢复速率会有一定的差异。重要 本文的备份和恢复速率是在实验室测试环境下的数据，仅供您参考。在实际使用中，由于网络、带宽等...
备份指标概览
不同备份数据源支持最小备份粒度、最小备份时间间隔、备份保留时长、实时备份等功能指标是不同的。...备份和恢复速率 云备份 的备份速率和恢复速率是在实验室测试环境下的数据，仅供您参考。更多信息，请参见 备份及恢复速率。
监控VPN网关实例
监控项 说明 VPN网关入方向数据包速率 VPN网关实例接收数据包的速率。单位：packet/s。VPN网关出方向数据包速率 VPN网关实例发出数据包的速率。单位：packet/s。VPN网关入方向流量速率 VPN网关实例接收流量的速率。单位：bps。VPN网关出...
恢复MySQL
注意事项 云备份 的备份速率和恢复速率是在实验室测试环境下的数据，仅供您参考。更多信息，请参见 数据库备份及恢复速率。若恢复数据至新MySQL实例上，则需要您提前在 云备份 控制台注册该MySQL实例，并确保其状态为 运行中。创建MySQL...
数据源权限管理
是否支持再次分享已被分享的数据源？数据源的创建者是否有权控制该数据源？什么是私有模式的数据源？哪些用户能够收回数据源的分享权限？如何检查数据源分享关系的移除、关联情况？分享数据源后，其资源组的连通状态是否会被同步分享？分享...
监控与报警
入方向限速丢包速率 EIP实例入方向因带宽限速，被丢弃的数据包速率。单位：pps。出方向限速丢包速率 EIP实例出方向因带宽限速，被丢弃的数据包速率。单位：pps。网络流入带宽利用率 外部访问EIP实例所消耗的带宽占该EIP实例总带宽的百分比...
基本概念
数据同步 数据源：是指数据库应用程序所使用的数据库或者数据库服务器，在数据资源平台的数据同步中可以将配置好的数据源端数据同步到目标端。多源异构数据：指的是多种不同结构的数据源。数据模板：用于对非结构化数据的解释，当创建数据...
概述
向量数据库简介 在现实世界中，绝大多数的数据都是以非结构化数据的形式存在的，如图片，音频，视频，文本等。这些非结构化数据随着智慧城市、短视频、商品个性化推荐、视觉商品搜索等应用的出现而爆发式增长。为了能够处理这些非结构化...
资产安全概述
通过数据分类分级、敏感数据识别、敏感数据脱敏等措施，帮助客户建立完善的数据安全体系，确保数据使用的安全合规性。前提条件 已购买 资产安全 增值服务，详情请参见 开通Dataphin。应用场景 基于Dataphin实现数据安全保护的一些典型的...
资产安全概述
通过数据分类分级、敏感数据识别、敏感数据脱敏等措施，帮助客户建立完善的数据安全体系，确保数据使用的安全合规性。前提条件 已购买 资产安全 增值服务并且当前租户已开通 资产安全 模块。应用场景 基于Dataphin实现数据安全保护的一些...
监控与报警
云监控（CloudMonitor）可以...出限速丢包速率 共享带宽 实例出方向限速丢包时，被丢弃的数据包速率。单位：pps。入限速丢包速率 共享带宽 实例入方向限速丢包时，被丢弃的数据包速率。单位：pps。相关文档 附录1 云产品监控指标 创建报警规则
SAG App流量监控
管理员可以在智能接入网关SAG（Smart Access Gateway）管理控制台查看智能接入网关App实例的...SAG实例的应用加速带宽包限速丢弃丢包数 指智能接入网关App实例关联的客户端加速访问应用时，因应用加速带宽限速丢弃的数据包速率。单位：pps。
数据库分组
若您需要在SQL变更或结构设计中快速载入多个数据库，可以创建一个数据库分组，将多个数据库环境、引擎类型相同的数据库绑定成为一个分组。本文介绍如何创建数据库分组。背景信息 当您的业务部署在多个地域，且存在多个数据库时，您每次做...
修改组件数据
在下方的数据配置区域内，按照您的需求修改模板已有的数据，或粘贴准备好的JSON格式的数据。说明 添加数据时的字段名要和系统设置保持一致。数据配置完成后，您可以在 设置数据源 页面单击 数据响应结果 的 图标刷新数据响应结果。数据响应...
修改组件数据
在下方的数据配置区域内，按照您的需求修改模板已有的数据，或粘贴准备好的JSON格式的数据。说明 添加数据时的字段名要和系统设置保持一致。数据配置完成后，您可以在 设置数据源 页面单击 数据响应结果 的 图标刷新数据响应结果。数据响应...
修改名单抽奖数据
在下方的数据配置区域内，按照您的需求自定义修改模板已有的数据，或直接粘贴准备好的JSON格式的数据。说明 添加数据时的字段名要和系统设置保持一致。数据配置完成后，您可以在 设置数据源 页面单击 数据响应结果 的 图标刷新数据响应结果...
修改名单抽奖数据
在下方的数据配置区域内，按照您的需求自定义修改模板已有的数据，或直接粘贴准备好的JSON格式的数据。说明 添加数据时的字段名要和系统设置保持一致。数据配置完成后，您可以在 设置数据源 页面单击 数据响应结果 的 图标刷新数据响应结果...
步骤二：规划数仓
数据源：业务数据中读取原始数据和写入数据仓库过程中的数据。步骤一：创建数据板块 在Dataphin首页，单击顶部菜单栏的 规划。按照下图操作指引，进入 新建数据板块 对话框。在 生产开发类型 步骤中选择 Basic模式 并单击 下一步。在 板块...
配置跨库Spark SQL节点
任务编排中的跨库Spark SQL节点，主要针对各类跨库数据同步和数据加工场景，您可以通过编写Spark SQL，完成各种复杂的数据同步或数据加工的任务开发。前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、...
从自建PostgreSQL（10.1~13版本）增量迁移至RDS ...
说明 为保障兼容性，建议RDS PostgreSQL的数据库版本与自建PostgreSQL的数据库版本相同。RDS PostgreSQL实例的存储空间须大于自建PostgreSQL数据库占用的存储空间。注意事项 DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，...
添加数据
由于本示例的数据区域是全国范围，因此 裁剪边界数据接口 的数据可以保持不变。您也可以根据需要修改 裁剪边界数据接口 的数据。在 插值点数据接口 的配置页面，单击 配置数据源。在 设置数据源 页面，按照以下说明配置数据源。数据源类型...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
数据保护规则简介
在设置数据保护规则时，您需要保证 不同规则作用的数据范围是互斥的，即每列数据，仅能唯一匹配一条规则，否则全密态数据库无法确定如何选择规则，可能发生非预期的结果。users：用户访问数据权限的设定。各权限说明如下：说明 用户权限...
数据分析概述
DataWorks提供的数据分析平台，可以流畅地进行数据处理、分析、加工及可视化操作。在数据分析板块中，您不仅可以在线洞察数据，还可以编辑和共享数据。本文为您介绍数据分析平台的优势、功能、权限等概要信息。产品优势 与本地数据分析相比...
什么是Dataphin
创建资源 新建用户自定义函数 数据萃取 基于Dataphin数据建模研发沉淀的数据，萃取提供以目标对象为中心的数据打通和深度挖掘，并生成代码与调度任务，完成实体对象识别、连接及标签生产，可快速应用于各类业务。数据萃取 发布 生产开发...
创建Aliyun HBase数据源
如果需要根据所处环境自动访问对应环境的数据源，请通过${数据源编码}.table 或${数据源编码}.schema.table 的变量格式访问。更多信息，请参见 Dataphin数据源表开发方式。重要 数据源编码配置成功后不支持修改。数据源描述 对数据源的简单...
配置SQLServer数据源
背景信息 标准模式的工作空间支持数据源隔离功能，您可以分别添加并隔离开发环境和生产环境的数据源，以保护您的数据安全。详情请参见 数据源开发和生产环境隔离。操作步骤 进入 数据源管理 页面。登录 DataWorks控制台。在左侧导航栏，...
- 产品推荐
- 这些文档可能帮助您