产品优势
更多信息，请参见 什么是数据库网关。提供数据库平滑迁移工具：DMS提供了DTS数据迁移工具，覆盖数据库迁移的全生命周期。更多信息，请参见 DTS。数据库管理：可进行数据库实例信息的查看、录入、编辑，对实例、库、表、数据列、行级进行...
安全白皮书
更多信息请参见 什么是专有网络。公网（Internet）您也可以为Redis实例申请公网地址，并通过公网访问Redis实例（不推荐），更多信息请参见 申请公网连接地址。访问前，您需要将客户端的地址添加至Redis实例的白名单中，提高访问安全性。...
基本概念
DTS 数据传输服务（Data Transmission Service，简称DTS）支持关系型数据库（RDBMS）、非关系型数据库（NoSQL）、数据多维分析（OLAP）等数据源间的数据交互，集数据同步、迁移、订阅、集成、加工于一体，帮助您构建安全、可扩展、高可用的...
创建数据流
在数据管理DMS离线集成中，可以组合各类任务节点，形成数据流，通过周期调度运行达到数据加工、数据同步的目的。本文介绍创建数据流和配置的方法。前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB...
通过流引擎实现地理围栏监控
将车辆的实时点位数据写入Lindorm流引擎的input_stream数据流表中，将车辆点位数据和地理围栏数据进行关联并判断车辆点位是否在地理围栏内，并将异常车辆数据输出到output_stream数据流表，同时也可以订阅异常数据进行报警。场景实现的原理...
安全白皮书
更多信息请参见 什么是专有网络。公网（Internet）您也可以为 Tair 实例申请公网地址，并通过公网访问 Tair 实例（不推荐），更多信息请参见 申请公网连接地址。访问前，您需要将客户端的地址添加至 Tair 实例的白名单中，提高访问安全性。...
数据传输服务概述
数据传输服务是MaxCompute数据进出的最重要通道，其中包括适用于批量操作的普通Tunnel和适用于流式写入的Stream Tunnel，同时在所有Region提供免费限量使用的数据传输服务共享资源组，也提供数据传输服务（包年包月）独享资源组，供您采购...
视频直播的审计事件
DescribeLiveDomainPushBpsData 查询推流域名推流网络带宽监控数据。DescribeLiveDomainPushTrafficData 查询推流域名推流流量监控数据。DescribeLiveDomainPvUvData 查询直播域名PV和UV数据。DescribeLiveDomainRealTimeBpsData 获取域名1...
文档修订记录
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
Kafka数据源
常见问题 读取kafka配置了endDateTime来指定所要同步的数据的截止范围，但是在目的数据源中发现了超过这个时间的数据 Kafka中数据量少，但是任务出现长时间不读取数据也不结束，一直运行中的现象是为什么？附录：脚本Demo与参数说明 附录：...
文档更新动态（2022年之前）
新功能 网络连通解决方案 2021年08月24日 数据服务：支持数据服务模块的数据查询加速、支持的数据源类型和版本拓展 为了满足对数据查询速度有要求的业务场景，Dataphin支持为项目添加加速计算源，且完成Dataphin数据源开发后，您可以手动...
DAS Auto Scaling弹性能力
数据库自治服务DAS的Auto Scaling是以数据库实例的实时性能数据作为输入，由DAS完成流量异常发现、合理数据库规格建议和合理磁盘容量建议，使数据库服务具备自动扩展存储和计算资源的能力。背景信息 为业务应用选择一个合适的数据库计算...
通过函数计算节点实现GitHub实时数据分析与结果发送
以163邮箱为例，您可以参考 SMTP服务器是什么、如何使用授权码 获取相关信息。完成代码开发后，单击 部署代码。DataWorks侧操作：创建数据源并绑定计算引擎 创建MySQL数据源。本实践使用的公共Github数据存储在公共的MySQL数据库中，您需要...
迁移 PolarDB-X 2.0 数据库的数据至 OceanBase 数据库...
详情请参见 什么是云原生数据库 PolarDB 分布式版。前提条件 数据传输已具备云资源访问权限。详情请参见 数据传输迁移角色授权。已为源端 PolarDB-X 2.0 数据库和目标端 OceanBase 数据库 MySQL 租户创建专用于数据迁移的数据库用户，并...
OpenEvent概述
OpenEvent通过EventBridge实现消息的订阅与消费，所以您需要先开通EventBridge产品服务，关于EventBridge产品介绍详情请参见：什么是事件总线EventBridge。扩展点事件分为租户级和空间级，注册扩展程序时，仅支持选择某一类型的扩展点事件...
如何对JSON类型进行高效分析
IMCI）功能推出了完备的虚拟列与列式JSON功能等，可以快速处理大数据和多种数据类型（包括结构化数据与半结构化数据等），并提供高效的数据分析、查询与流计算能力，适用于数据分析、数据仓库与扩展流计算等应用场景。针对海量半结构化数据...
CREATE CQ
连续查询（Continuous Query，简称CQ），对Lindorm流引擎中的实时数据进行计算（过滤、转换、增强、聚合），并将计算结果写入到另一个数据流表或者外表中，直到用户执行终止连续查询操作才会停止计算。本文介绍创建连续查询任务的语法。...
新建连接模板
单击左上角的，在 新增数据流 对话框中，您需在 数据流名称 配置ETL任务名称，选择 开发方式 为 DAG。单击 确认。在页面左侧，将 输入/维表 MySQL 节点拖拽至页面右侧画布的空白区域。单击画布区域的 输入/维表 MySQL-1，在下方的 节点配置...
C100售前支持相关问题
数据库审计和其他产品的区别 数据库审计产品相对于自己安装Packetbeat抓取流量审计和RDS数据库自带的SQL洞察功能，有以下区别：支持的数据库协议：数据库审计产品是专注于数据库协议解析的，支持的数据库协议更丰富，解析的粒度更细。数据...
通过流引擎实现交易数据实时统计
创建数据流表。通过Lindorm-cli连接Lindorm流引擎，具体操作请参见 通过Lindorm-cli连接并使用Lindorm流引擎（旧接口不推荐）。CREATE STREAM IF NOT EXISTS orders(`biz` STRING,`order_id` STRING,`price` DOUBLE,`detail` STRING,`...
用户管理
作为集群安全的一部分，数据流服务Confluent提供了用户管理功能。您可以在用户管理页面完成新增用户、修改密码、删除用户等操作。本文介绍用户管理的具体操作步骤。查看用户列表 首先登录 流数据服务Confluent管控页，点击集群管理>进入...
事件流概述
指标监控 事件流提供多个指标，您可以使用这些指标监控数据流的运行状况，并设置接近阈值的警报，出现异常时及时响应，确保数据流正常运行。节约成本 无最低消费，按照传输至事件流的数据量进行计费，并为您提供数据量看板，使费用计算更加...
常见问题
数据安全中心对于结构化数据源的扫描机制是什么样的？数据安全中心扫描数据源中的字段名称、字段值综合判断该数据是否为敏感数据，只通过字段值无法判断数据是否敏感。例如：年龄数据。敏感数据识别是如何实现的？敏感数据识别是在完成数据...
独享数据集成资源组
数据源处于经典网络中 独享资源组处于阿里云VPC网络，如果数据源处于经典网络环境中，则数据源与独享资源组间网络无法连通，建议您将数据源迁移至VPC网络中。白名单配置 如果数据源设置有白名单限制访问地址时，您需要将独享资源组的访问...
数据库代理常见问题
什么是数据库代理？数据库代理是位于数据库服务端和应用服务端之间的网络代理服务，用于转发应用服务端访问数据库时的所有请求，提供读写分离、事务拆分等高级功能，具有高可用、高性能、可运维、简单易用等特点。更多信息，请参见 什么是...
独享调度资源组
数据源处于经典网络中 独享资源组处于阿里云VPC网络，如果数据源处于经典网络环境中，则数据源与独享资源组间网络无法连通，建议您将数据源迁移至VPC网络中。白名单配置 如果数据源设置有白名单限制访问地址时，您需要将独享资源组的访问...
SELECT
流引擎兼容Apache Flink SQL的SELECT语句。Apache Flink V1.17.1 SELECT语句详情如下表所示。...Top-N 去重 从数据流中去除重复的行数据。Deduplication 说明 如果您需要查看其它版本Queries语句，请注意切换到对应版本。
函数概览
函数 说明 窗口函数 将数据流分割为指定大小的集合，并支持基于集合进行计算。聚合函数 返回一组数值的统计或计算结果。条件函数 返回指定条件下的数据处理、判断等结果。比较函数 比较两个或多个对象的值，并返回比较结果。算术函数 返回...
SHOW STREAMS
查询Lindorm流引擎中数据流表的列表信息。语法 说明 查询Lindorm流引擎中数据流表的列表信息也可以使用 LIST STREAMS。SHOW STREAMS;示例 Show Streams;返回结果如下：+-+|ShowStreams|+-+|Stream Name|Stream Topic|Format-originalData|...
什么是PolarDB MySQL企业版
采用白名单、VPC网络、数据多副本存储等全方位的手段，对数据库数据访问、存储、管理等各个环节提供安全保障。无锁备份 利用底层分布式存储的快照技术，只需分钟级别即可完成对上TB数据量大小的数据库的备份，且整个备份过程不需要加锁，...
产品概述
什么是全密态数据库 全密态数据库是数据库与存储实验室与阿里云数据库团队合作的自研产品，以技术为基石，最小化人员、平台管理等不可控因素造成的潜在数据安全隐患，可以有效杜绝云数据库服务（或应用服务等数据拥有者以外的任何人）接触...
产品概述
什么是全密态数据库 全密态数据库是数据库与存储实验室与阿里云数据库团队合作的自研产品，以技术为基石，最小化人员、平台管理等不可控因素造成的潜在数据安全隐患，可以有效杜绝云数据库服务（或应用服务等数据拥有者以外的任何人）接触...
产品概述
什么是全密态数据库 全密态数据库是 达摩院数据库与存储实验室 与阿里云数据库团队合作的自研产品，以技术为基石，最小化人员、平台管理等不可控因素造成的潜在数据安全隐患，可以有效杜绝云数据库服务（或应用服务等数据拥有者以外的任何...
需求分析
根据规范设计工作流（即业务流程）：基于数据流设计工作流：DataWorks上任务上下游关系遵循节点名与表名一一对应原则，基于数据流设计工作流。节点命名规范详情请参见：配置同周期调度依赖。新增业务流程管理设计：由于OSS同步任务（ods_...
需求分析
根据规范设计工作流（即业务流程）：基于数据流设计工作流：DataWorks上任务上下游关系遵循节点名与表名一一对应原则，基于数据流设计工作流。节点命名规范详情请参见：配置同周期调度依赖。新增业务流程管理设计：由于OSS同步任务（ods_...
配置源库信息
单击左上角的，在 新增数据流 对话框中，您需在 数据流名称 配置ETL任务名称，选择 开发方式 为 DAG。单击 确认。在页面左侧，将 输入/维表 MySQL 节点拖拽至页面右侧画布的空白区域。单击画布区域的 输入/维表 MySQL-1，根据页面信息配置...
A100售后支持相关问题
购买数据库审计实例后，您可以通过以下操作配置数据库审计服务：启用数据库审计实例 管理数据库审计实例 登录数据库审计系统 添加数据库实例 部署Agent程序 更多信息，请参见 A100快速入门。如何测试数据库审计网络连通性？数据库审计外网...
什么是云原生多模数据库Lindorm
本文介绍 云原生多模数据库 Lindorm 的...流引擎 云原生多模数据库 Lindorm 流引擎是 面向流式数据处理 的引擎，提供了流式数据的存储和轻计算功能，帮助您轻松实现流式数据存储至 云原生多模数据库 Lindorm，构建基于流式数据的处理和应用。
使用公共资源组
数据源网络环境 是否支持访问 数据源处于公网环境 支持 数据源处于经典网络 支持 数据源处于VPC网络 不支持 公共数据集成（调试）资源组 公共数据集成（调试）资源组仅保证支持公网访问能力。白名单设置 公共调度资源组为您提供任务安全...
数据扫描和识别
DSC对结构化数据（例如MaxCompute）的扫描机制是什么？DSC是否会登录到数据库内获取数据？目前存在哪些触发重新扫描的场景？数据扫描会影响我的数据库性能吗？数据安全中心（Data Security Center，简称DSC）采用全量扫描、增量扫描和定时...
- 产品推荐
- 这些文档可能帮助您