配置HDFS输出组件
文件类型 选择将数据转换成存储的文件类型。文件类型 包括 Text、ORC 和 Parquet。文件编码 选择文件编码。文件编码 包括 UTF-8 和 GBK。加载策略 向目标数据源（HDFS数据源）写入数据时，数据写入表中的策略。加载策略包括覆盖数据和追加...
数据源中心
EMR Workflow的数据源中心支持配置数据源，以满足不同的数据存储和访问需求。本文为您介绍如何创建、编辑和删除数据源。使用限制 数据源所在的集群和运行工作流时选择的集群需要在同一VPC下。创建数据源 进入数据源中心页面。使用阿里云...
CREATE CAST
不推荐在设计自己的数据类型时用它）。一个造型函数的返回类型必须等于目标类型或者能二进制强制到目标类型。通常，强制转换必须具有不同的源和目标数据类型。但是，如果它有一个带有多个参数的强制转换实现函数，则可以声明具有相同源类型...
无感集成（Zero-ETL）
ETL是将上层业务系统的数据经过提取（Extract）、转换清洗（Transform）、加载（Load）到数据仓库的处理过程，目的是将上游分散的数据整合到目标端数仓，通过在数仓中做进一步的计算分析，来为业务做有效的商业决策。传统的ETL流程通常会...
配置FTP输出组件
文件类型 选择将数据转换成存储的文件类型。文件类型 包括 Text 和 CSV。文件编码 选择文件存储在目标数据源的编码方式。文件编码 包括 UTF-8 和 GBK。加载策略 向目标数据源（FTP数据源）写入数据时，数据写入FTP中的策略。加载策略包括 ...
配置FTP输出组件
文件类型 选择将数据转换成存储的文件类型。文件类型 包括 Text 和 CSV。文件编码 选择文件存储在目标数据源的编码方式。文件编码 包括 UTF-8 和 GBK。加载策略 向目标数据源（FTP数据源）写入数据时，数据写入FTP中的策略。加载策略包括 ...
使用float2类型压缩存储向量
当前float2的数组类型转换，实现了两种转换算法：针对数组中的每个float2的数据，使用C程序进行转化，每次只转换一个float2数据。对于特定的硬件（支持AVX和SSE2指令集的硬件），调用硬件特定的接口函数，每次可以支持同时转换4个float2...
无感数据集成（Zero-ETL）
ETL是将上层业务系统的数据经过提取（Extract）、转换清洗（Transform）、加载（Load）到数据仓库的处理过程，目的是将上游分散的数据整合到目标端数仓，通过在数仓中做进一步的计算分析，来为业务做有效的商业决策。传统的ETL流程通常会...
Sensors Data（神策）数据源
示例"dataConverters":[{"type":"Str2Double"}]无 Str2BigDecimal 将String字符串类型的数据转换为BigDecimal高精度数值类型。示例"dataConverters":[{"type":"Str2BigDecimal"}]无 IfNull2Default 当字段值为null时，将字段值设置为...
外部数据
简介 本数据库实现了部分的 SQL/MED 规定，允许我们使用普通 SQL 查询来访问位于本地数据库之外的数据。这种数据被称为外部数据。说明 这种用法不要和外键混淆，后者是数据库中的一种约束 外部数据可以在一个外部数据包装器的帮助下被访问...
数据集成概述
数据集成是稳定高效、弹性伸缩的数据同步平台，致力于提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力。使用限制 数据同步：支持且仅支持结构化（例如RDS、DRDS等）、半结构化、无结构化（OSS、TXT等，要求具体同步...
功能概述
当您的数据库中有数据需要被保护时，可以使用RDS MySQL全密态数据库功能，该功能提供的加密解决方案能够在遵守数据保护法规的前提下保障您的数据安全，使被保护数据免受未授权访问。本文介绍全密态数据库的概念、应用场景和安全分级。什么...
DataWorks数据集成
数据集成（Data Integration）是阿里巴巴集团提供的数据同步平台。该平台具备可跨异构数据存储系统、可靠、安全、低成本、可弹性扩展等特点，可为20多种数据源提供不同网络环境下的离线（全量/增量）数据进出通道。关于数据集成的更多信息...
产品架构
为了提供更好的分析性能，云数据库 SelectDB 版 的存储引擎针对计算场景进行深度耦合设计：数据模型：云数据库 SelectDB 版 针对典型的数据分析场景，提供了优化设计的数据模型。例如主键模型（Unique模型）用于满足具有主键唯一性约束的...
配置流程
数据传输服务DTS提供的数据加工功能ETL（Extract Transform Load），实现了流式数据的清洗和转换处理，能够准确、高效地提供您需要的数据。本文介绍如何通过DAG模式（可视化拖拽方式）配置ETL任务。背景信息 说明 ETL功能处于灰度公测阶段...
使用场景
数据清洗与加工 DMS任务编排可以用于数据清洗和加工任务的编排和执行，如数据清洗、数据匹配、数据合并、数据转换等，确保数据的准确性和完整性。数据集成与汇总 使用DMS任务编排集成和汇总不同数据源的数据，进行数据聚合和分析，生成报表...
管理问题数据
若存在数据不唯一，系统生成的问题数据表会保留该字段的重复数据，即重复的数据就是问题数据。唯一值个数/总行数。唯一值个数与总行数的比率与一个固定值进行比较。空值 空值个数，固定值。取该字段的空值数与固定值进行比较。说明 是否为...
管理问题数据
若存在数据不唯一，系统生成的问题数据表会保留该字段的重复数据，即重复的数据就是问题数据。唯一值个数/总行数。唯一值个数与总行数的比率与一个固定值进行比较。空值 空值个数，固定值。取该字段的空值数与固定值进行比较。说明 是否为...
创建并管理数据源
若您想在DataWorks操作您的数据库或数据仓库（例如，MaxCompute项目数据），需先在DataWorks的数据源管理页面，将数据库或数据仓库创建为DataWorks的数据源，并将该数据源绑定至DataWorks相应的功能模块使用。例如，同步MaxCompute数据前，...
数据源管理常见问题
您可以在DataV控制台单击 我的数据>数据源管理，选择+添加数据，进入 添加数据 对话框，选择 CSV文件 类型，输入 自定义数据源名称 并上传一个本地电脑中的CSV文件。上传完成后，您可以在画布编辑器中添加组件，在右侧 数据 面板中的 设置...
数据源管理常见问题
您可以在DataV控制台单击 我的数据>数据源管理，选择+添加数据，进入 添加数据 对话框，选择 CSV文件 类型，输入 自定义数据源名称 并上传一个本地电脑中的CSV文件。上传完成后，您可以在画布编辑器中添加组件，在右侧 数据 面板中的 设置...
转换MBR分区为GPT分区
说明 Linux转换分区过程中，正常情况下不会丢失原分区的数据。避免误操作导致数据丢失或异常，建议您提前备份云盘上的所有数据。使用快照会产生计费。更多信息，请参见 快照计费。远程连接ECS实例。具体操作，请参见 通过密码或密钥认证...
数据归档OSS
为了帮助用户实现降本增效，RDS SQL Server提供了数据库级别的数据归档至对象存储OSS的功能。该功能允许用户在控制台数据库管理页面或通过API将不经常访问的在线数据库转为冷存数据库，而冷数据会存储在低成本的对象存储OSS中，以此实现...
typeconv-query
将被插入到一个表的值会按照下列步骤被转换到目标列的数据类型。值存储类型转换 检查一个与目标的准确匹配。否则，尝试转换表达式为目标类型。如果在两种类型之间的一个 赋值造型 已经被注册在 pg_cast 目录（见CREATE CAST）中，这是可能...
创建OceanBase数据源
数据源配置 选择需要配置的数据源：如果业务数据源区分生产数据源和开发数据源，则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源，则选择 生产数据源 标签 您可根据标签给数据源进行分类打标，如何创建标签，请参见 ...
创建OceanBase数据源
数据源配置 选择需要配置的数据源：如果业务数据源区分生产数据源和开发数据源，则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源，则选择 生产数据源 标签 您可根据标签给数据源进行分类打标，如何创建标签，请参见 ...
2021年
创建PolarDB MySQL版数据订阅任务 创建Oracle数据订阅任务 2021年4月 类别 功能描述 相关文档 新增 ETL（Extract Transform Load）功能正在新版控制台公测中，可用于实现数据库中数据的清洗和转换处理，能够准确、高效地提供您需要的数据。...
存储空间分析
查看集群级别的数据量 通过 空间总览 可以查看当前集群的 总数据量、热数据量、冷数据量、以及 最近24小时 和 近一周日均 的 数据增长量。登录 云原生数据仓库AnalyticDB MySQL控制台，在左上角选择集群所在地域。在左侧导航栏，单击 集群...
使用简介
本文介绍Ganos GeomGrid扩展中使用的数据类型。GeomGrid GeomGrid是Ganos GeomGrid扩展中用于表示一个地理网格对象的数据类型。地理网格是一种再现地球表面的多边形网格单元集合，可以用于表示地物在地理空间中的位置信息，融合其他各类...
使用简介
本文介绍Ganos GeomGrid扩展中使用的数据类型。GeomGrid GeomGrid是Ganos GeomGrid扩展中用于表示一个地理网格对象的数据类型。地理网格是一种再现地球表面的多边形网格单元集合，可以用于表示地物在地理空间中的位置信息，融合其他各类...
使用简介
本文介绍Ganos GeomGrid扩展中使用的数据类型。GeomGrid GeomGrid是Ganos GeomGrid扩展中用于表示一个地理网格对象的数据类型。地理网格是一种再现地球表面的多边形网格单元集合，可以用于表示地物在地理空间中的位置信息，融合其他各类...
离线同步能力说明
例如，源端是VARCHAR类型的数据写到INT类型的目标列中，导致因为转换不合理而无法写入的数据。您可以在同步任务配置时，控制同步过程中是否允许脏数据产生，并且支持控制脏数据条数，即当脏数据超过指定条数时，任务失败退出。数据集成使用...
Kafka集群的数据存储格式
DTS支持选择迁移或同步到Kafka集群的数据存储格式，本文为您介绍数据格式的定义说明，方便您根据定义解析数据。数据存储格式 DTS支持将写入至Kafka集群的数据存储为如下三种格式：DTS Avro：一种数据序列化格式，可以将数据结构或对象转化...
Kafka集群的数据存储格式
DTS支持选择迁移或同步到Kafka集群的数据存储格式，本文为您介绍数据格式的定义说明，方便您根据定义解析数据。数据存储格式 DTS支持将写入至Kafka集群的数据存储为如下三种格式：DTS Avro：一种数据序列化格式，可以将数据结构或对象转化...
创建同步任务
例如，源端是VARCHAR类型的数据写到INT类型的目标列中，则会因为转换不合理导致脏数据不会成功写入目的端。您可以在同步任务配置时，控制同步过程中是否允许脏数据产生，并且支持控制脏数据条数，即当脏数据超过指定条数时，任务失败退出。...
Tunnel命令常见问题
java.io.IOException:Error writing request body to server 产生原因 这是上传数据到服务器时产生的异常，通常是因为上传过程中的网络连接断开或超时导致的：当您的数据源并非是本地文件，需要从数据库等地方获取时，数据在写入的过程中还...
同步方案概览
数据同步功能帮助您实现数据源之间的数据实时同步，适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、云BI及实时数据仓库等多种业务场景。本文将介绍数据同步功能支持的数据库、同步类型和同步拓扑。说明 数据同步在某些...
Stream Load
适用场景 Stream Load主要适用于导入本地文件或通过程序导入数据流中的数据。基本原理 下面为您展示了Stream Load的主要流程，省略了部分导入细节。1A.User submit load to FE|+-v-+|FE|5.Return result to user|+-+-+|2.Redirect to BE|+-...
通过Kettle导入至数仓版
在 表输出 的 数据库字段 选项卡中，单击 获取字段 和 输入字段映射，可以设置Excel中的列与 AnalyticDB MySQL版 表中列名间的映射关系。单击白色三角箭头运行转换，观察运行日志和运行状态。本地Excel数据成功同步至 AnalyticDB MySQL版 ...
概述
集中分布式一体化的产品形态 PolarDB-X 的产品主售形态主要分为 标准版（集中式形态）和 企业版（分布式形态），详情如下：集中式形态：标准版 PolarDB-X 标准版是集中式形态，由分布式中的数据节点（DN）多副本单独提供服务。标准版最小...
- 产品推荐
- 这些文档可能帮助您