从修改的行中返回数据
本文介绍了如何从修改的行中返回数据。简介 有时在修改行的操作过程中获取数据很有用。INSERT、UPDATE 和 DELETE 命令都有一个支持这个的可选的 RETURNING 子句。使用 RETURNING 可以避免执行额外的数据库查询来收集数据，并且在否则难以...
配置ClickHouse输出组件
ClickHouse输出组件用于向ClickHouse数据源写入数据。同步其他数据源的数据至ClickHouse数据源的场景中，完成源数据的信息配置后，需要配置ClickHouse输出组件写入数据的目标数据源。本文为您介绍如何配置ClickHouse输出组件。前提条件 在...
配置ClickHouse输出组件
ClickHouse输出组件用于向ClickHouse数据源写入数据。同步其他数据源的数据至ClickHouse数据源的场景中，完成源数据的信息配置后，需要配置ClickHouse输出组件写入数据的目标数据源。本文为您介绍如何配置ClickHouse输出组件。前提条件 在...
代码模式建模
DataWorks数据建模的设计与实现解耦，在设计过程中，您无需考虑各个大数据引擎的实现方式，建模引擎会根据FML语言定义的Schema去驱动底层各个数据引擎的执行和操作，仅在实际物化（即把设计的逻辑表转换为底层引擎的物理表）阶段，建模引擎...
配置跨库Spark SQL节点
在线业务会产生大量的数据，当需要对这些数据进行加工分析时，一般需要将在线业务的数据同步到专门用于数据加工和分析的数据仓库，再进行数据分析。数据仓库的数据回流到在线库，用于数据查询。在数据仓库中对数据进行加工分析后，往往需要...
创建Impala数据源
通过创建Impala数据源能够实现Dataphin读取Impala的业务数据或向Impala写入数据。本文为您介绍如何创建Impala数据源。背景信息 Impala是用于处理存储在Hadoop集群中大量数据的SQL查询引擎。如果您使用的是Impala，在导出Dataphin数据至...
CDH Hive数据抽样采集器
您可以通过DataWorks的数据抽样采集器功能，从CDH Hive表中随机抽取表的部分数据用于数据保护伞的敏感数据识别。如果您在数据保护伞中配置了脱敏规则，那么在数据地图表详情页面进行数据预览时，命中的敏感字段将会被脱敏。本文为您介绍...
新建 TiDB 数据源
已存在用于数据迁移的数据库用户。建议您为数据迁移项目创建一个专属的数据库用户，该用户必须具备相关的数据操作权限。详情请参见 创建 TiDB 数据库用户。如果您需要订阅 TiDB 增量日志，请准备 Kafka 数据源和 Kafka Topic。并且，请根据...
GORM 连接 OceanBase 数据库示例程序
本文将介绍如何使用 GORM 和 OceanBase 数据库构建一个应用程序，实现创建表、插入数据和查询数据等基本操作。点击下载 gorm-oceanbase 示例工程 前提条件 安装 OceanBase 数据库、Go 语言和相关驱动，并确保已经正确配置了环境变量。说明 ...
创建Impala数据源
通过创建Impala数据源能够实现Dataphin读取Impala的业务数据或向Impala写入数据。本文为您介绍如何创建Impala数据源。背景信息 Impala是用于处理存储在Hadoop集群中大量数据的SQL查询引擎。如果您使用的是Impala，在导出Dataphin数据至...
概述
对接实时计算，用于业务数据驱动的智能运营、IoT、监控大屏等数据应用。数据同步，比如更新cache，同步到搜索引擎、数仓、冷存储等。LindormStreams支持实时获取HBase表的数据变更，您可以基于LindormStreams的这个功能构建自己的数据应用...
CREATE LANGUAGE
但是，一种语言可以被安装在 template1 数据库中，这会导致它在所有后续创建的数据库中自动变得可用。示例 创建新的过程语言的最小顺序是：CREATE FUNCTION plsample_call_handler()RETURNS language_handler AS '$libdir/plsample' ...
DataWorks模块使用说明
使用流程概览：参考文档：数据集成概述 数据建模与开发 子模块：数据建模 功能说明：数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行...
业务切换流程
警告 用于数据迁移的数据库账号拥有读写权限，为保障数据库安全性，请在数据迁移完成后，删除用于数据迁移的数据库账号或回收相关写权限。常见问题 Q：业务切换后，如果业务运行出现问题如何处理？A：由于创建的反向迁移任务会将目标库产生...
业务切换流程
警告 用于数据迁移的数据库账号拥有读写权限，为保障数据库安全性，请在数据迁移完成后，删除用于数据迁移的数据库账号或回收相关写权限。常见问题 Q：业务切换后，如果业务运行出现问题如何处理？A：由于创建的反向迁移任务会将目标库产生...
创建HBase数据源
通过创建HBase数据源能够实现Dataphin读取HBase的业务数据或向HBase写入数据。本文为您介绍如何创建HBase数据源。背景信息 HBase是用于处理存储在Hadoop集群中大量数据的SQL查询引擎。如果您使用的是HBase，在导出Dataphin数据至HBase，您...
与Spark集成分析
用户可以通过DLA Ganos实现Spark加载HBase中的...在GeometryRDD基础上，DLA Ganos基于SparkSQL设计了一系列用于空间数据表达的UDT与UDF或UDAF，允许用户使用类似SQL结构化查询语言进行数据的查询与分析。详细内容请参考：数据湖时空引擎Ganos
与Spark集成分析
用户可以通过DLA Ganos实现Spark加载HBase中的...在GeometryRDD基础上，DLA Ganos基于SparkSQL设计了一系列用于空间数据表达的UDT与UDF或UDAF，允许用户使用类似SQL结构化查询语言进行数据的查询与分析。详细内容请参考：数据湖时空引擎Ganos
补数据任务概述
Dataphin补数据任务可以对历史数据进行补数，将数据写入至对应时间分区。代码中若使用调度参数，则该参数将根据补数据时选择的业务日期自动替换为具体值，结合业务代码将对应时间数据写入对应分区。帮助您对数据中缺失、错误、重复或不完整...
补数据任务概述
Dataphin补数据任务可以对历史数据进行补数，将数据写入至对应时间分区。代码中若使用调度参数，则该参数将根据补数据时选择的业务日期自动替换为具体值，结合业务代码将对应时间数据写入对应分区。帮助您对数据中缺失、错误、重复或不完整...
API概览
我们已经为开发者封装了常见编程语言的SDK，开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足使用需求，可通过签名机制进行自签名对接。由于自签名细节非常复杂，需花费 5个工作日左右。因此建议加入...
用户价值
数据开发更简单：平台提供的各种工具产品能够极大的简化数据开发过程，缩短数据治理周期，降低数据治理成本。通过标准化、精细化、规格化的智能数据生产流程，完成流水线式的数据生产作业，提升数据资源生产效率、消除数据供应品质差异。...
ECS实例说明
本文介绍E-MapReduce（简称EMR）支持的ECS实例类型，以及各实例类型适用的场景。EMR支持的ECS实例类型 通用型 vCPU:Memory=1:4。例如，8核32 GiB，使用云盘作为存储...Task计算实例 用于补充集群的计算能力，可以使用除大数据型外的所有机型。
质量规则模板类型
实时元表模板类型 模板详情分类 描述 一致性 实时离线对比 当实时数据与离线数据使用相同的统计逻辑时，用于数据的最终值差异的校验。如果差异较大，可能存在较大数据质量的问题需要进行确认和修复。实时多链路对比 高可用场景下，需要构建...
质量规则模板类型
实时元表模板类型 模板详情分类 描述 一致性 实时离线对比 当实时数据与离线数据使用相同的统计逻辑时，用于数据的最终值差异的校验。如果差异较大，可能存在较大数据质量的问题需要进行确认和修复。实时多链路对比 高可用场景下，需要构建...
配置敏感数据分类分级
数据分类分级支持您按照数据的价值、内容敏感程度、影响和分发范围对数据进行敏感级别和类型的划分，不同敏感级别的数据其管控原则和数据开发要求存在差异，划分分类分级后，后续可通过分类分级管控不同程度的敏感数据。本文为您介绍如何...
数据集成调度策略说明
DTS的数据集成功能可根据调度策略的配置，定期地将源库中的结构和存量数据迁移至目标库中。通过该功能可以帮助您构建更加灵活的数据仓库（例如构建T+1的周期性数仓），本文介绍数据集成的策略、限制及适用场景。支持的数据库 支持全量数据...
API概览
我们已经为开发者封装了常见编程语言的SDK，开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足使用需求，可通过签名机制进行自签名对接。由于自签名细节非常复杂，需花费 5个工作日左右。因此建议加入...
EMR Workbench
阿里云EMR Workbench是一个综合性的大数据分析和开发环境，作为阿里云E-MapReduce的一部分，它提供了EMR Notebook和EMR Workflow两个核心功能。通过EMR Workbench，您可以轻松进行数据开发，以及交互式数据分析，并设计复杂的数据处理工作...
数据源概述
DataWorks的数据源用于连接不同的数据存储服务。在配置数据集成同步任务之前，您需要首先定义好同步任务的源端和目的端数据源信息，以便在配置同步任务时，能够通过选择数据源名称来确定数据的读取和写入数据库。本文将介绍配置数据源时您...
升级数据库大版本
本文介绍云数据库MongoDB支持升级的数据库大版本以及如何升级数据库大版本。注意事项 升级分片集群实例的数据库大版本时，实例的协议类型需为 MongoDB协议。升级采用轮转升级的方式进行，升级过程中会自动对实例进行2~3次重启，请在业务低...
自定义配置 DDL/DML
本文为您介绍配置数据迁移或数据同步项目时，如何自定义配置增量同步中的 DDL 和 DML 同步。背景信息 您在配置数据迁移或数据同步项目时，如果在 选择迁移类型 或 选择同步类型 步骤选择了 增量同步，则会默认支持 DML 同步，您可以自定义...
产品功能
阿里云图数据库自动机器学习（Graph Database Auto Machine Learning，简称GDB Automl）支持数据处理、模型训练、数据预测和导出部署。本文为您详细介绍GDB Automl的产品功能。数据处理 数据导入 目前版本支持从图数据库GDB导入数据、从...
pldbgapi
功能介绍 在 AnalyticDB PostgreSQL版 中，PL/pgSQL是一种用于编写存储过程和用户自定义函数（UDF）的扩展语言，它结合了SQL的数据查询和数据处理能力，补充了过程控制和编程特性，允许用户使用变量、条件、循环、异常处理等来实现复杂的...
功能特性
授予DTS访问云资源的权限 准备用于数据迁移的数据库账号 可靠性 集群高可用 使用高规格服务器来保证每条迁移或同步链路都能拥有良好的传输性能。产品优势 断点续传 具有自动断点续传机制，有效地保证数据传输的可靠性。产品优势 数据源容灾...
数据归档概述
当线上数据库中的历史数据（访问率很低的数据）越来越多，占用的存储越来越大，以至于会影响数据库的查询性能与业务运转，此时您可以使用 数据管理DMS 的数据归档功能，周期性地将指定表的数据归档至其他数据库或存储服务中。同时，该功能...
DataX同步数据
步骤二：创建数据同步的源表和目标表 登录至RDS MySQL实例，创建本教程中用于数据同步的源表和目标表。步骤三：下载并配置DataX任务的代码模板 下载并配置DataX任务的代码模板后，保存为 datax.json。步骤四：上传datax.json文件至Dataphin...
DataX同步数据
步骤二：创建数据同步的源表和目标表 登录至RDS MySQL实例，创建本教程中用于数据同步的源表和目标表。步骤三：下载并配置DataX任务的代码模板 下载并配置DataX任务的代码模板后，保存为 datax.json。步骤四：上传datax.json文件至Dataphin...
从RDS MariaDB迁移至RDS MySQL
注意事项 DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
从RDS MariaDB迁移至RDS MySQL
注意事项 DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
- 产品推荐
- 这些文档可能帮助您