配置GoldenDB输出组件
加载策略包括覆盖和追加，适用场景说明如下：追加数据 策略下，当指主键、约束冲突时，系统会提示脏数据错误。覆盖数据 策略下，当主键、约束冲突时，系统会先删除原数据，再插入整行新数据。解析方案 可选择输出数据前后的语句准备，详情...
配置GoldenDB输出组件
加载策略包括覆盖和追加，适用场景说明如下：追加数据 策略下，当指主键、约束冲突时，系统会提示脏数据错误。覆盖数据 策略下，当主键、约束冲突时，系统会先删除原数据，再插入整行新数据。解析方案 可选择输出数据前后的语句准备，详情...
附录：DataHub消息格式
DataHub类型 写入DML消息 写入上游心跳消息 写入DDL消息 源表和目标topic映射方式 数据类型 Tuple 支持 不支持 不支持 单表对单topic DataHub支持的类型 Blob 支持 支持 支持 单库（多表）对单topic Blob二进制数据 Tuple类型由于schema各...
配置Impala输出组件
加载策略包括覆盖和追加，适用场景说明如下：追加数据 策略下，当指主键、约束冲突时，系统会提示脏数据错误。覆盖数据 策略下，当主键、约束冲突时，系统会先删除原数据，再插入整行新数据。解析方案 可选择输出数据前后的语句准备，详情...
配置Impala输出组件
加载策略包括覆盖和追加，适用场景说明如下：追加数据 策略下，当指主键、约束冲突时，系统会提示脏数据错误。覆盖数据 策略下，当主键、约束冲突时，系统会先删除原数据，再插入整行新数据。解析方案 可选择输出数据前后的语句准备，详情...
配置ArgoDB输出组件
追加数据策略下，当指主键/约束冲突时，会提示脏数据错误。追加数据策略下不支持合并。压缩格式 非必填项，如果文件有压缩，请选择对应的压缩格式，以便Dataphin进行解压处理。字段分隔符 使用所设置的字符串分隔符写入目标数据源。如未...
Cassandra数据类型
这个类型在存储媒体或者其他二进制数据类型时很有用，Cassandra并不会检查其中存储的二进制数据是否有效。Cassandra中二进制大对象是以十六进制存储的，如果想将任意的文本数据类型使用blob存储，可以使用textAsBlob()函数实现。inet：这个...
Hive兼容数据类型版本
BINARY unhex('FA34E10293CB42848573A4E39937F479')二进制数据类型，目前长度限制为8MB。FLOAT cast(3.14159261E+7 as float)32位二进制浮点型。DOUBLE 3.14159261E+7 64位二进制浮点型。DECIMAL(precision,scale)3.5BD、99999999999....
配置MySQL输出组件
当主键/约束冲突时，会提示脏数据错误。主键冲突时覆盖（replace into）：即在主键/约束冲突时，会先删除整行主键重复的旧数据，再插入新数据。主键冲突时更新（on duplicate key update）：即在主键/约束冲突时，会在已存在的记录上更新...
配置MySQL输出组件
当主键/约束冲突时，会提示脏数据错误。主键冲突时覆盖（replace into）：即在主键/约束冲突时，会先删除整行主键重复的旧数据，再插入新数据。主键冲突时更新（on duplicate key update）：即在主键/约束冲突时，会在已存在的记录上更新...
配置TDH Inceptor输出组件
加载策略包括覆盖和追加，适用场景说明如下：追加数据 策略下，当指主键、约束冲突时，系统会提示脏数据错误。覆盖数据 策略下，当主键、约束冲突时，系统会先删除原数据，再插入整行新数据。字段分隔符 填写文件存储分隔符。如果您没有...
解决方案与客户案例
异地多活数据库解决方案 方案背景 随着云计算的蓬勃发展，越来越多的信息系统选择部署在云计算环境下，因此基于云产品为信息系统的服务能力和数据质量提供保障尤为重要。为了防止灾难性的故障如火灾、洪水、地震、区域电力中断或者人为破坏...
云数据库RDS简介
RDS支持MySQL、SQL Server、PostgreSQL和MariaDB引擎，并且提供了容灾、备份、恢复、监控、迁移等方面的全套解决方案，帮助您解决数据库运维的烦恼。安全稳定可靠 历经考验：已支撑数十万用户的业务稳定运行，且经过双十一高并发、大数据量...
常见术语
云原生数据湖分析（简称DLA）是新一代大数据解决方案，采取计算与存储完全分离的架构，支持数据库（RDS\PolarDB）与消息实时归档建仓，提供弹性的Spark与Presto，满足在线交互式查询、流处理、批处理、机器学习等诉求，也是传统Hadoop方案...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
解决方案与客户案例
异地多活场景下的数据库方案 方案背景 随着云计算的蓬勃发展，越来越多信息系统选择部署在云计算环境下，因此基于云产品为信息系统的服务能力和数据质量提供保障尤为重要。为了防止灾难性的故障如火灾、洪水、地震、区域电力中断或者人为...
Insert Into
true（默认值）：表示如果有一条数据错误，则导入失败。false：表示至少有一条数据被正确导入，则返回成功。如果有失败数据，则还会返回一个Label。可通过 SET enable_insert_strict=false 来设置。query_timeout INSERT INTO本身也是一个...
某网约车公司车辆轨迹数据
随着车辆数量的快速增长，每辆车每分钟上传轨迹、位置等信息到MySQL导致MySQL库数据量过大，将全量数据写到 云原生多模数据库 Lindorm 中可以解决数据量过多和成本问题。业务挑战 目前线下有7万+辆车，车辆数量在快速增长，每辆车每分钟...
Insert Into
true（默认值）：表示如果有一条数据错误，则导入失败。false：表示至少有一条数据被正确导入，则返回成功。如果有失败数据，则还会返回一个Label。可通过 SET enable_insert_strict=false 来设置。query_timeout INSERT INTO本身也是一个...
基本概念
DTS 数据传输服务（Data Transmission Service，简称DTS）支持关系型数据库（RDBMS）、非关系型数据库（NoSQL）、数据多维分析（OLAP）等数据源间的数据交互，集数据同步、迁移、订阅、集成、加工于一体，帮助您构建安全、可扩展、高可用的...
RDS术语
M MaxCompute 大数据计算服务MaxCompute（原名ODPS）是一种快速、完全托管的TB/PB级数据仓库解决方案，提供了完善的数据导入方案以及多种经典的分布式计算模型，能够快速地解决海量数据计算问题。通过数据集成服务，可将RDS数据导入...
RDS术语
A AliPG 阿里云支持一系列兼容PostgreSQL的云数据库服务产品，这些云数据库服务采用统一的数据库内核（简称AliPG），AliPG兼容PostgreSQL开源数据库，于2015年正式商用，支持PostgreSQL主流大版本，已稳定运行多年，支撑了大量阿里巴巴集团...
RDS术语
M MaxCompute 大数据计算服务MaxCompute（原名ODPS）是一种快速、完全托管的TB/PB级数据仓库解决方案，提供了完善的数据导入方案以及多种经典的分布式计算模型，能够快速地解决海量数据计算问题。通过数据集成服务，可将RDS数据导入...
管理导入任务
背景信息 该页面的数据来自于使用StarRocks内核提供的查询命令（例如 show load）所得到的结果，这些数据的生命周期与内核中数据存储的生命周期相同。该功能适用于以下场景：查看某一个导入任务的数据导入情况，包括已导入的数据条数和数据...
RDS术语
M MaxCompute 大数据计算服务MaxCompute（原名ODPS）是一种快速、完全托管的TB/PB级数据仓库解决方案，提供了完善的数据导入方案以及多种经典的分布式计算模型，能够快速地解决海量数据计算问题。通过数据集成服务，可将RDS数据导入...
RDS术语
M MaxCompute 大数据计算服务MaxCompute（原名ODPS）是一种快速、完全托管的TB/PB级数据仓库解决方案，提供了完善的数据导入方案以及多种经典的分布式计算模型，能够快速地解决海量数据计算问题。通过数据集成服务，可将RDS数据导入...
数据质量教程概述
数据质量是数据分析结论有效性和准确性的基础。本文为您介绍数据质量保障教程的业务场景以及如何衡量数据质量的高低。前提条件 在开始本教程前，请您首先完成 搭建互联网在线运行分析平台 教程，详情请参见 业务场景与开发流程。业务场景 ...
数据质量教程概述
数据质量是数据分析结论有效性和准确性的基础。本文为您介绍数据质量保障教程的业务场景以及如何衡量数据质量的高低。前提条件 在开始本教程前，请您首先完成 搭建互联网在线运行分析平台 教程，详情请参见 业务场景与开发流程。业务场景 ...
错误信息列表
数据导入任务错误列表 数据导入 提供添加、查询和删除接口，查询接口除自身命令错误外还提供任务运行过程中产生的错误。请求 返回 描述 添加任务 Loader File Format don’t support 要求导入的文件格式不支持，当前只支持.csv格式。...
离线同步常见问题
MaxCompute如何实现列筛选、重排序和补空等 MaxCompute列配置错误的处理 MaxCompute分区配置注意事项 MaxCompute任务重跑和failover 报错信息及解决方案 报错信息及解决方案 数据同步报错：[TASK_MAX_SLOT_EXCEED]:Unable to find a ...
什么是数据管理DMS
DMS提供全域数据资产管理、数据治理、数据库设计开发、数据集成、数据开发和数据消费等功能，致力于帮助企业高效、安全地挖掘数据价值，助力企业数字化转型。视频介绍 功能特性 详情信息，请参见 功能概览。为什么选择数据管理DMS 全域数据...
如何处理Tair集群数据倾斜
在 Tair 集群中，若个别数据分片节点（Data Node）的内存使用率或CPU使用率、带宽使用率、延时等性能指标远远高于其他数据分片，该 Tair 集群可能已产生数据倾斜。数据倾斜严重时，会导致实例在整体内存使用率不高的情况下，发生内存逐出...
如何处理Redis集群数据倾斜
在 Redis 集群中，若个别数据分片节点（Data Node）的内存使用率或CPU使用率、带宽使用率、延时等性能指标远远高于其他数据分片，该 Redis 集群可能已产生数据倾斜。数据倾斜严重时，会导致实例在整体内存使用率不高的情况下，发生内存逐出...
客户案例
DataWorks在多个行业中均有典型的案例落地，帮助多个行业的企业解决数据痛点，挖掘数据价值，本文为您介绍典型行业中已落地的客户案例。新零售行业：大润发云上数据中台建设 客户架构如下。客户简介 为了快速数字化转型，拥抱新零售，...
实时消费Kafka数据
当您需要将Kafka数据写入 云原生数据仓库AnalyticDB PostgreSQL版，且不希望使用其他数据集成工具时，可以通过实时数据消费功能直接消费Kafka数据，减少实时处理组件依赖，提升写入吞吐。Apache Kafka是一个容错、低延迟、分布式的发布-...
图扑案例
为适应日趋复杂化多样化的终端设备、边缘设备、传感器以及第三方系统数据源采集、上报的异构数据，如图3所示，阿里 云原生多模数据库 Lindorm 在云端单实例融合了宽表、索引、时序等多种数据引擎能力，通过阿里云DTS/DMS或第三方开源数据...
什么是数据传输服务DTS
数据传输服务DTS（Data Transmission Service）是阿里云提供的实时数据流服务，支持关系型数据库（RDBMS）、非关系型的数据库（NoSQL）、数据多维分析（OLAP）等数据源间的数据交互，集数据同步、迁移、订阅、集成、加工于一体，助您构建...
企迈云商
解决方案 企迈使用阿里云DAS数据库自治服务，支持多种数据库类型、多个数据库实例的批量管理，提供 巡检评分、监控大盘 等能力，能够快速定位到异常实例。DAS通过 7*24小时异常检测，自动检测到实例出现异常，并触发根因分析，定位异常的...
外部表概述
第二种方法通常需要申请UDF网络访问权限，还需要开发者自己控制作业并发数，解决数据如何分片的问题。因此，MaxCompute提供了外部表来解决上述问题。外部表的功能旨在提供除MaxCompute内部表格以外的其他数据的处理能力。通过一条简单的DDL...
低成本RDS历史库
云原生多模数据库 Lindorm 和关系型数据库同时使用时可以满足低存储成本，方便运维，弹性伸缩等需求，本文介绍其方案架构和优势。重要 2023年3月10日后购买的LTS 不再支持低成本RDS历史库场景，2023年3月10日前购买的LTS仍支持该场景。背景...
- 产品推荐
- 这些文档可能帮助您