新建Flink SQL类型的公共节点
Flink SQL节点是流式节点，运行于Flink云计算资源之上，支持对RDS MySQL、Table Store、Hive、Kafka、Hbase、Phoenix、AnalyticDB MySQL和DataHub等类型的数据进行处理。本文介绍如何新建Flink SQL类型的公共节点。背景信息 Flink SQL是...
新建Flink Vvp SQL类型的公共节点
Flink Vvp SQL节点是流式节点，运行于Flink云计算资源之上，支持对RDS MySQL、Table Store、Hive、Kafka、Hbase、Phoenix、AnalyticDB MySQL、AnalyticDB PostgreSQL和DataHub等类型的数据进行处理。本文介绍如何新建Flink Vvp SQL类型的...
新建Flink SQL类型的公共节点
Flink SQL节点是流式节点，运行于Flink云计算资源之上，支持对ApsaraDB for RDS、Table Store、Hive、Kafka、Hbase、Phoenix、AnalyticDB MySQL和DataHub Service等类型的数据进行处理。本文介绍如何新建Flink SQL类型的公共节点。背景信息...
新建Elastic Service在线类型的公共节点
输入数据结构 输入表的数据格式，由数据模型定义，在下拉列表中选择，表示该计算资源中提供数据的数据表的结构。当选择数据表时，需保证输入的模型与上游节点的输出数据模型相同。当选择星号（*）时，代表数据结构为任意结构，用于对未创建...
新建Flink Vvp SQL类型的公共节点
Flink Vvp SQL节点是流式节点，运行于Flink云计算资源之上，支持对ApsaraDB for RDS、Table Store、Hive、Kafka、Hbase、Phoenix、AnalyticDB MySQL、AnalyticDB_PostgreSQL和DataHub Service等类型的数据进行处理。本文介绍如何新建Flink ...
基础流场
本文介绍图层栅格数据选择的流符号为基础流场时的参数配置。前提条件 已登录DataV-Atlas管理控制台。已进入项目编辑页面。样式 基础 可见缩放等级：级别表示地图的缩放层级，地图的缩放层级在设置范围内数据点将显示，范围外将隐藏。范围为...
新建Flink Vvr SQL类型的公共节点
Flink Vvr SQL节点是流式节点，运行于Flink云计算资源之上，支持对RDS MySQL、Table Store、Hive、Kafka、Hbase、Phoenix、AnalyticDB MySQL和DataHub等类型的数据进行处理。本文介绍如何新建Flink Vvr SQL类型的公共节点。背景信息 Flink ...
新建Flink Vvr SQL类型的公共节点
Flink Vvr SQL节点是流式节点，运行于Flink云计算资源之上，支持对RDS MySQL、Table Store、Hive、Kafka、Hbase、Phoenix、AnalyticDB MySQL和DataHub等类型的数据进行处理。本文介绍如何新建Flink Vvr SQL类型的公共节点。背景信息 Flink ...
品牌升级
无论是数据湖中的非结构化或半结构化数据，还是数据库中的结构化数据，您都可使用 AnalyticDB for MySQL 构建企业的数据分析平台，同时完成高吞吐离线处理和高性能在线分析，实现降本增效。此次品牌升级，存量分析型数据库MySQL版（ADS）...
导入结构和数据
背景信息 ODC 支持批量导入数据库对象的结构和数据。通过 ODC 导入任务可以分别导入数据库对象的结构和数据、仅导入数据或者仅导入结构。导入结构和数据：同时导入数据库对象的定义语句及其数据。仅导入数据：仅导入表/视图对象的数据。仅...
通过开源Kafka客户端写入Lindorm流引擎数据
指定数据流表的物理数据存储在某个Topic上 String topic="log_topic;props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG,"org.apache.kafka.common.serialization.StringSerializer");props.put(ProducerConfig.VALUE_SERIALIZER_CLASS...
CREATE STREAM
数据流表仅支持新增数据，不支持更新数据和删除数据。本文介绍如何通过DDL语句创建流表。语法 CREATE STREAM[IF NOT EXISTS][catalog_name.][db_name.]stream_name({|<metadata_column_definition>}[,.n][][,.n])[COMMENT table_comment]...
非结构化分析
功能说明 向量分析实现原理是通过AI算法提取非结构化数据的特征，然后利用特征向量唯一标识非结构化数据，向量间的距离用于衡量非结构化数据之间的相似度。AnalyticDB PostgreSQL版 向量检索分析基于MPP查询架构构建，帮助用户实现基于SQL...
产品架构
为了同步正在进行的数据变更，DTS使用两个处理事务日志的模块：事务日志读取模块：日志读取模块从源实例读取原始数据，经过解析、过滤及标准格式化，最终将数据在本地持久化。日志读取模块通过数据库协议连接并读取源实例的增量日志。如果...
同步节点
逻辑表 输入表的数据格式，由数据模型定义，在下拉列表中选择，表示该计算资源中提供数据的数据表的结构。当选择数据表时，。当选择星号（*）时，表示数据结构为任意结构，用于对未创建数据模型的表进行操作，此时物理表必须选择已经存在的...
同步节点
逻辑表 输入表的数据格式，由数据模型定义，在下拉列表中选择，表示该计算资源中提供数据的数据表的结构。当选择数据表时，。当选择星号（*）时，表示数据结构为任意结构，用于对未创建数据模型的表进行操作，此时物理表必须选择已经存在的...
功能概述
实现原理 分析型数据库MySQL版的向量分析旨在帮助您实现非结构化数据的近似检索和分析，其实现原理是通过AI算法提取非结构化数据的特征，然后利用特征向量唯一标识非结构化数据，向量间的距离用于衡量非结构化数据之间的相似度。...
什么是数据库网关
DG相关服务 相关服务 说明 数据传输服务DTS 数据传输服务DTS（Data Transmission Service）是阿里云提供的实时数据流服务，支持关系型数据库（RDBMS）、非关系型的数据库（NoSQL）、数据多维分析（OLAP）等数据源间的数据交互，集数据同步...
内存型
企业级特性 企业级特性 说明 通过数据闪回按时间点恢复数据 开启Redis的数据闪回功能后，Redis最长可将AOF备份数据保留7天，在此期间您随时可以指定一个精确到秒的时间点，系统会基于所选时间点的备份数据创建一个新的实例，实现精确的数据...
mysqldump
当您需要备份或者迁移 云数据库SelectDB 中的数据时，通过mysqldump工具，可以将数据库的结构和数据导出到一个文本文件中。该文件包含了创建数据库、表以及插入数据的SQL语句，从而确保数据的完整性和一致性。使用示例 导出 导出test_db...
从自建Db2迁移至RDS MySQL
在将业务切换至目标实例前，请务必先结束或释放该任务，避免该任务被自动恢复后，源端数据覆盖目标实例的数据。DTS基于Db2的CDC复制技术将自建Db2数据库的增量更新数据同步到目标库中，但是CDC复制技术自身具有限制，请参见 CDC复制技术所...
产品优势
数据安全中心DSC（Data Security Center）可扫描和识别海量数据，帮您实时获取数据的安全状态。本文介绍 数据安全中心 的产品优势。合规性 使用数据安全中心产品...提供动态可视化的数据资产展示与检索，并支持一键检索海量数据中的敏感数据。
从自建Db2迁移至RDS MySQL
在将业务切换至目标实例前，请务必先结束或释放该任务，避免该任务被自动恢复后，源端数据覆盖目标实例的数据。DTS基于Db2的CDC复制技术将自建Db2数据库的增量更新数据同步到目标库中，但是CDC复制技术自身具有限制，请参见 CDC复制技术所...
什么是数据库网关
DG相关服务 相关服务 说明 数据传输服务DTS 数据传输服务DTS（Data Transmission Service）是阿里云提供的实时数据流服务，支持关系型数据库（RDBMS）、非关系型的数据库（NoSQL）、数据多维分析（OLAP）等数据源间的数据交互，集数据同步...
专业术语
points per second 这是一个现在已经弃用的术语，原来表示数据写入TSDB For InfluxDB®的速率，因为TSDB For InfluxDB®的数据模型（schema）允许甚至鼓励每个数据点记录多个测量值（metric），所以这个概念有歧义。写入速率现在通常是按...
新建同步节点并运行后上线
数据同步节点，实现不同云计算资源之间的数据传输。本文介绍如何新建数据同步节点并运行。操作步骤 步骤一：登录节点任务设置页面 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组...
查看数据校验详情
若 不一致记录量 的值不为 0，则表示源实例与目标实例的数据或结构存在不一致。您可以在 操作 列下方，根据业务需要单击 查看报告、下载校验报告 或 下载订正SQL。您可以根据下载的校验报告和订正SQL，并结合实际情况进行手动修复。重要 ...
新建同步节点并运行后上线
数据同步节点，实现不同云计算资源之间的数据传输。本文介绍如何新建数据同步节点并运行。操作步骤 步骤一：登录节点任务设置页面 登录企业数据智能平台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，...
从自建SQL Server全量迁移至RDS SQL Server
DTS支持结构迁移、全量数据迁移和增量数据迁移，同时使用结构迁移和全量数据迁移可以实现自建SQL Server数据库的全量数据迁移。说明 如果要实现不停机迁移，请参见 从自建SQL Server增量迁移至RDS SQL Server。前提条件 自建SQL Server数据...
数据集成调度策略说明
DTS的数据集成功能可根据调度策略的配置，定期地将源库中的结构和存量数据迁移至目标库中。通过该功能可以帮助您构建更加灵活的数据仓库（例如构建T+1的周期性数仓），本文介绍数据集成的策略、限制及适用场景。支持的数据库 支持全量数据...
名词解释
TABLE 〇 〇 Table（表）是一种结构化的数据对象，用于存储和组织相关的数据记录。构建表时需要定义表的Schema结构，包括表的列名和列类型。在宽表引擎中创建的表称为 宽表，在时序引擎中创建的表称为 时序表。PRIMARY KEY 〇 〇 Primary ...
数据库克隆
数据管理DMS的数据库克隆功能支持将源数据库的表结构和表数据复制至目标数据库中，实现全部表或部分表备份，适用多环境数据库初始化，例如将开发环境复制到测试环境。前提条件 源数据库与目标数据库类型相同，且都为MySQL。数据库实例的...
通用数据开发
数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的数据，存储在业务系统所对应的数据库中，包括MySQL、Oracle和RDS等类型。数据收集与存储：您需要同步不同业务系统的数据至MaxCompute中，方可通过MaxCompute的海量数据...
持续查询
本文介绍如何在流引擎中持续查询数据。背景信息 持续查询（Continuous Query）是基于流表的实时计算，它的基本处理模型如下图所示。Source表示数据源头的流表，Operator表示计算逻辑，Sink表示存储计算结果的结果表。每当源头的流表有数据...
外部表概述
MaxCompute支持使用外部表功能查询和分析存储于OSS等外部存储系统的数据。该机制使得用户可以无需将数据导入到MaxCompute内部存储，直接对外部数据进行操作，从而提供了数据处理的灵活性和方便性。背景信息 MaxCompute SQL作为分布式数据...
补数据
补数据基于任意任务流的发布态版本，可通过指定业务时间或业务范围时间，生成一个或多个任务流实例（运行某条任务流的记录）。本文为您介绍如何给任务流补数据。使用场景 电商公司在多个时间段进行促销活动，需要分析促销活动带来的营收、...
从自建PostgreSQL全量迁移至RDS PostgreSQL
数据库名称 填入RDS实例中待迁入数据的数据库名，可以和自建PostgreSQL中待迁移的数据库名不同。说明 您需要先在RDS实例中创建相应的数据库和schema，详情请参见 迁移前准备工作。数据库账号 填入目标RDS实例的数据库账号，权限要求请参见 ...
产品优势
无论是数据湖中的非结构化或半结构化数据，还是数据库中的结构化数据，您都可使用 AnalyticDB MySQL 构建企业的数据分析平台，同时完成高吞吐离线处理和高性能在线分析，实现降本增效。弹性能力和扩展性 AnalyticDB MySQL版 采用云原生技术...
从Amazon RDS for PostgreSQL全量迁移至阿里云
前提条件 Amazon RDS for PostgreSQL的数据库版本为9.4或以上版本。为保障DTS能够通过公网连接至Amazon RDS for PostgreSQL，需要将Amazon RDS for PostgreSQL的 Publicly accessible 设置为 Yes。已创建阿里云RDS PostgreSQL，详情请参见 ...
创建数仓分层
各个分层的功能介绍如下：数据引入层 ODS（Operational Data Store）ODS层用于接收并处理需要存储至数据仓库系统的原始数据，其数据表的结构与原始数据所在的数据系统中的表结构一致，是数据仓库的数据准备区。ODS层对原始数据的操作具体...
- 产品推荐
- 这些文档可能帮助您