Stream Load
{"TxnId":1003,"Label":"b6f3bc78-0d2c-45d9-9e4c-faa0a0149bee","Status":"Success","ExistingJobStatus":"FINISHED",/optional"Message":"OK","NumberTotalRows":1000000,"NumberLoadedRows":1000000,"NumberFilteredRows":1,...
MaxCompute+Hadoop搭建实践
本文以E-MapReduce的Hive为例，为您介绍在MaxCompute中如何创建外部项目，并查询Hadoop中的表数据。使用限制 仅华东1（杭州）、华东2（上海）、华北2（北京）、华北3（张家口）、华南1（深圳）、中国香港、新加坡和德国（法兰克福）地域...
同步 OceanBase 数据库的数据至 DataHub
本文为您介绍如何同步 OceanBase 数据库（MySQL 和 Oracle 租户）的数据至 DataHub。前提条件 数据传输已具备云资源访问权限。详情请参见 数据传输迁移角色授权。已为源端 OceanBase 数据库创建专用于数据同步项目的数据库用户，并为其赋予...
2.0数据类型版本
BINARY unhex('FA34E10293CB42848573A4E39937F479')X'616263' 二进制数据类型，目前长度限制为8 MB。说明 X'num[.]' 格式中 num 是16进制的数字，可以是 0~9 或者是 A~F。例如 X'616263'，实际代表的是 abc，因为字符 a 的ASCII编码是 0x61...
Stream Load
{"TxnId":1003,"Label":"b6f3bc78-0d2c-45d9-9e4c-faa0a014*","Status":"Success","ExistingJobStatus":"FINISHED",/optional"Message":"OK","NumberTotalRows":1000000,"NumberLoadedRows":1000000,"NumberFilteredRows":1,...
社交网络
示例数据如下：点文件：~id,name:string 1,a0e05a4a-65c0-11e9-a5ce-00163e0416f8 2,a0e05e28-65c0-11e9-a5ce-00163e0416f8 3,a0e05f86-65c0-11e9-a5ce-00163e0416f8 4,a0e0606c-65c0-11e9-a5ce-00163e0416f8 5,a0e0613e-65c0-11e9-a5ce-...
Bucket Shuffle Join
Shuffle Join：Shuffle Join会根据哈希计算，将A、B两张表的数据分散到集群的节点之中，所以这次操作的网络开销为 A表数据量+B表数据量，内存开销为B表数据量。FE中保存了SelectDB每个表的数据分布信息。如果Join语句命中了表的数据分布列...
数据开发
数据来源 参数 值 数据源 MySQL：retail_e_commerce_read 表 mbr_user_info 数据过滤-切分键 id 数据去向 参数 值 数据源 ODPS：odps_source 开发项目名 retail_e_commerce_2_dev 生产项目名 retail_e_commerce_2 表 ods_mbr_user_info ...
Flume插件
A single-node Flume configuration for DataHub#Name the components on this agent a1.sources=r1 a1.sinks=k1 a1.channels=c1#Describe/configure the source a1.sources.r1.type=exec a1.sources.r1.command=cat/temp/test.csv#...
内存型
企业级特性 企业级特性 说明 通过数据闪回按时间点恢复数据 开启Redis的数据闪回功能后，Redis最长可将AOF备份数据保留7天，在此期间您随时可以指定一个精确到秒的时间点，系统会基于所选时间点的备份数据创建一个新的实例，实现精确的数据...
Database外表联邦分析
说明 本特性只支持存储弹性模式实例，且需要 云原生数据仓库 AnalyticDB PostgreSQL 版 实例和目标访问的外部数据源处于同一个VPC网络。2020年9月6日前申请的存量存储弹性模式实例，由于网络架构不同，无法与外部数据库网络打通，无法使用...
通过开源Kafka客户端写入Lindorm消息引擎数据
json.put("detail","Remove tasks fail:job name=e35318e5-52ea-48ab-ad2a-0144ffc6955e,"+"task name=prepare_e35318e5-52ea-48ab-ad2a-0144ffc6955e,runningTasks=0");Future<RecordMetadata>future=producer.send(new ProducerRecord...
MongoDB 复制集原理深度分析
MongoDB复制集由一组MongoDB实例（进程）组成，包含一个Primary节点和多个Secondary节点，MongoDB Driver（客户端）的所有数据都写入Primary，Secondary从Primary同步写入的数据，以保持复制集内所有成员存储相同的数据集，提供数据的高...
数据实时入仓实践
为满足业务对数据仓库中高度时效性数据的需求，MaxCompute基于Delta Table实现了分钟级近实时数据写入和主键更新功能，显著提升了数据仓库的数据更新效率。数据写入场景 面对具有突发性和热点性的客户行为日志，如评论、评分和点赞，传统的...
基于DataFlow集群的Flink服务使用CTAS...数据至StarRocks
例如，如果col_a重命名为col_b，则会在目标表末尾添加col_b，并自动将col_a的数据填充为NULL值。暂不支持同步的Schema变更：数据类型的变更。例如，由VARCHAR变为BIGINT，由NOT NULL变为NULLABLE属性。主键或索引等约束的变更。非空列的...
计费命令参考
语法表达式 用途 是否收费 样例 TUNNEL DOWNLOAD 下载数据（经典网络）否 TUNNEL DOWNLOAD table_name e:/table_name.txt;配置经典网络Tunnel Endpoint，例如 http://dt.cn-shanghai.maxcompute.aliyun-inc.com 。Tunnel Endpoint的配置，...
ECS应用角色（EMR 3.32及之前版本和EMR 4.5及之前版本...
E-MapReduce环境提供了MetaService服务，MetaService服务是一种特殊的ECS应用角色。EMR 3.32及之前版本和EMR 4.5及之前版本，创建时会自动绑定该角色。在EMR集群之上运行的应用程序通过该角色来获得与其他云服务交互的权限，实现以免...
通过HTTP API写入数据
有很多方法可以向TSDB For InfluxDB®写入数据，包括通过命令行界面（command line interface）和客户端（client libraries）。在这一章中，我们将向您展示如何使用内嵌的HTTP API写入数据。说明 本章节中的示例使用了curl,一种通过URL来...
Insert Into
file=_shard_2/error_log_insert_stmt_ba8bb9e158e4879-ae8de8507c0bf8a2_ba8bb9e158e4879_ae8de8507c0bf8a2)其中，返回信息中的 ERROR 1064(HY000):all partitions have no load data 显示失败原因，后面的URL可以用于查询错误的数据。...
使用Kafka客户端消费订阅数据
新版数据订阅支持使用0.11版本至2.7版本的Kafka客户端消费订阅数据，DTS为您提供了Kafka客户端Demo，本文将介绍该客户端的使用说明。注意事项 使用本文提供的Demo消费数据时，如果采用auto commit（自动提交），可能会因为数据还没被消费完...
基本概念
DTS 数据传输服务（Data Transmission Service，简称DTS）支持关系型数据库（RDBMS）、非关系型数据库（NoSQL）、数据多维分析（OLAP）等数据源间的数据交互，集数据同步、迁移、订阅、集成、加工于一体，帮助您构建安全、可扩展、高可用的...
RDS术语
数据库代理 RDS数据库代理是位于数据库服务端和应用服务端之间的网络代理服务，用于代理应用服务端访问数据库时的所有请求，具有高可用、高性能、可运维、简单易用等特点，同时提供自动读写分离、事务拆分、连接池等高级功能。更多信息，请...
RDS术语
A AliPG 阿里云支持一系列兼容PostgreSQL的云数据库服务产品，这些云数据库服务采用统一的数据库内核（简称AliPG），AliPG兼容PostgreSQL开源数据库，于2015年正式商用，支持PostgreSQL主流大版本，已稳定运行多年，支撑了大量阿里巴巴集团...
同步 OceanBase 数据库的数据至 Kafka
背景信息 Kafka 是目前广泛应用的高性能分布式流计算平台，数据传输支持 OceanBase 数据库两种租户与自建 Kafka 数据源之间的数据实时同步，扩展消息处理能力，广泛应用于实时数据仓库搭建、数据查询和报表分流等业务场景。前提条件 数据...
RDS术语
数据库代理 RDS数据库代理是位于数据库服务端和应用服务端之间的网络代理服务，用于代理应用服务端访问数据库时的所有请求，具有高可用、高性能、可运维、简单易用等特点，同时提供自动读写分离、事务拆分、连接池等高级功能。更多信息，请...
连接PostgreSQL实例
操作步骤 数据管理DMS连接 数据管理DMS是一种集数据管理、结构管理、用户授权、安全审计、数据趋势、数据追踪、BI图表、性能与优化和服务器管理于一体的数据管理服务。数据管理DMS的更多信息，请参见 什么是数据管理DMS。访问 RDS实例列表...
连接PostgreSQL实例
操作步骤 数据管理DMS连接 数据管理DMS是一种集数据管理、结构管理、用户授权、安全审计、数据趋势、数据追踪、BI图表、性能与优化和服务器管理于一体的数据管理服务。数据库管理DMS的更多信息，请参见 什么是数据管理DMS。访问 RDS实例...
同步 OceanBase 数据库的数据至 RocketMQ
本文为您介绍如何使用数据传输同步 OceanBase 数据库的数据至 RocketMQ。背景信息 消息队列 RocketMQ 是阿里云基于 Apache RocketMQ 构建的低延迟、高并发、高可靠的分布式消息中间件。数据传输的数据同步功能可以帮助您实现 OceanBase ...
EMR元数据迁移到数据湖构建（DLF）
适用场景 从其他大数据集群迁移到阿里云E-MapReduce产品。从阿里云EMR老集群（MySQL做元数据），整体集群需要迁移到阿里云EMR新集群（DLF做元数据）。从阿里云EMR老集群（MySQL做元数据），仅元数据修改为DLF。说明 仅EMR-3.33及后续版本、...
RDS术语
数据库代理 RDS数据库代理是位于数据库服务端和应用服务端之间的网络代理服务，用于代理应用服务端访问数据库时的所有请求，具有高可用、高性能、可运维、简单易用等特点，同时提供自动读写分离、事务拆分、连接池等高级功能。更多信息，请...
管道传输（Pipeline）
} } 在输入了正确的云数据库Redis版实例访问地址和密码之后，运行以上Java程序，输出结果如下：方法1-Pipeline发送请求 Pipeline发送请求 Pipeline发送请求 Pipeline发送请求 Pipeline发送请求 发送请求完成，开始接收响应 Pipeline接收...
RDS术语
数据库代理 RDS数据库代理是位于数据库服务端和应用服务端之间的网络代理服务，用于代理应用服务端访问数据库时的所有请求，具有高可用、高性能、可运维、简单易用等特点，同时提供自动读写分离、事务拆分、连接池等高级功能。更多信息，请...
DescribeDBClusterSpaceSummary-查看集群的空间概览
1AD222E9-E606-4A42-BF6D-8A4442913CEF Data object 返回数据。TotalSize string 总数据量，单位：Byte。说明 计算公式为：总数据量=热数据总量+冷数据总量。8388608 HotData object 热数据。TotalSize long 热数据总量，单位：Byte。说明 ...
CreateInstanceAccount
RequestId String FF13E47D-4E38-4A5A-BA68-4E610EVF56DC 请求ID。示例 请求示例 http(s):/[Endpoint]/?Action=CreateInstanceAccount&DrdsInstanceId=drdsjiii1b49*&AccountName=drds_sample_account&Password=drds_sample_password&...
漏斗数据分析函数
将过滤后的事件按时间戳排序，例如t1发送e1、t2发送e2、t3发送e1、t4发送e3。对比事件列表，从第一个事件依次做“最长、有序”匹配，返回匹配的最大长度。一旦匹配失败，结束整个匹配。例如关心事件为e1，e2，e3，而用户数据为e1，e2，e4，...
CreateDrdsDB
RequestId String FF13E47D-4E38-4A5A-BA68-32A554AD45T6 请求ID。示例 请求示例 http(s):/[Endpoint]/?Action=CreateDrdsDB&DrdsInstanceId=drdshbgal154*&DbName=testdb&Encode=utf8&Password=drds_sample_password&Type=HORIZONTAL&...
ResizeNodeCount
返回数据 名称 类型 示例值 描述 RequestId String D7D3088F-AA4F-49C3-BB46-B04F3E35041A 请求ID。示例 请求示例 http(s):/[Endpoint]/?Action=ResizeNodeCount&ClusterId=cds-bp1b136j*5d59&DataCenterId=cn-hangzhou-g &NodeCount=3 &<...
UpsertCollectionDataAsync-异步上传向量数据
231460f8-75dc-405e-a669-0c5204887e91 示例 正常返回示例 JSON 格式 {"RequestId":"ABB39CC3-4488-4857-905D-2E4A051D0521","Message":"success","Status":"success","JobId":"231460f8-75dc-405e-a669-0c5204887e91"} 错误码 访问 错误...
使用COPY或UNLOAD命令导入或导出数据到OSS
a|b|c-+-+-12|a24cba6ebdc5e0c485cd88ef60b72fea 15|c4d3028f5205fab98e5f43c7945db4ba 20|769884311db01f400e21a903a3f1cb50 26|7d12c981d262e0067ea1a04368f32f2a 30|4e64bda52d54d263d16f42771b1d0225 35|b70c976d4c04568bd497b42a7d2e...
ModifyStreamingDataSource-修改实时数据服务数据源
修改实时数据服务数据源 调试 您可以在OpenAPI Explorer中直接运行该...ABB39CC3-4488-4857-905D-2E4A051D0521 示例 正常返回示例 JSON 格式 {"RequestId":"ABB39CC3-4488-4857-905D-2E4A051D0521"} 错误码 访问 错误中心 查看更多错误码。
- 产品推荐
- 这些文档可能帮助您