DML差异
LOAD XML 不支持 将数据从XML文件读取到表中。REPLACE 支持，详情请参见 REPLACE INTO。REPLACE的运行与INSERT完全相同，不同之处在于，如果表中的旧行与PRIMARY KEY或UNIQUE索引的新行具有相同的值，则在插入新行之前删除该旧行。SELECT，...
外部数据
一个外部数据包装器是一个库，它可以与一个外部数据源通讯，并隐藏连接到数据源和从它获取数据的细节。在 contrib 模块中有一些外部数据包装器。其他类型的外部数据包装器可以在第三方产品中找到。要访问外部数据，我们需要建立一个外部...
读取OSS数据
使用MaxCompute客户端，从OSS读取数据。命令示例如下。select recordId,patientId,direction from mc_oss_csv_external1 where patientId>25;返回结果如下。recordid|patientid|direction|+-+-+-+|1|51|S|3|48|NE|4|30|W|5|47|S|7|53|N|8|...
缓存数据持久化
key)if students:print("从Redis查询到数据：")print(students)else:print("Redis中未查询到数据，从RDS MySQL查询到数据：")#从RDS MySQL获取数据 students=fetch_from_mysql()if students:print(students)#缓存数据到Redis cache_to_...
使用数据镜像保护尚未写入完整的数据
使用场景 创建数据镜像，可确保在数据大批量写入更新期间，所有读请求从数据镜像获取数据。从而确保数据在完整写入前不会被应用程序读取到。数据镜像的读取性能与先前非镜像数据的读取性能完全保持一致。说明 数据更新完成后，可将数据正式...
概述
用户在创建数据同步时，DataHub会自动为该同步任务绑定SubscriptionId用于记录从DataHub读取数据的读取点位（非同步点位），该SubscriptionId请用户不要操作。目前只有DataHub topic的Owner/Creator账号才具备创建connector（数据同步）的...
数据缓存
当访问相同的远程数据时，SelectDB会检查本地缓存中是否存在该文件的缓存数据，并根据Block的offset和size，确认哪些数据从本地Block读取，哪些数据从远程获取，并缓存远程拉取的新数据。BE节点重启时，会扫描 cache_path 目录并恢复Block...
读数据表
用途 读数据表 算子用于从数据源中读取数据，作为下游节点输入数据的来源。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 使用说明 选择计算资源 选择需要读取的数据源，支持的数据源类型...
用户价值
数据资源平台为用户提供了一站式数据资产定义、生产、管理与服务平台，提供企业级数据资产构建能力和一致性使用体验，助力客户快速构建数据智能平台，实现数据资源统一管理，挖掘潜在规律，优化业务决策，让大数据真正的驱动客户业务。...
Kafka数据源
Reader脚本Demo 从Kafka读取数据的JSON配置，如下所示。{"type":"job","steps":[{"stepType":"kafka","parameter":{"server":"host:9093","column":["_key_","_value_","_partition_","_offset_","_timestamp_","'123'","event_id","tag....
HBase数据源
value指定当前类型为常量，不从HBase读取数据，而是根据value值自动生成对应的列。配置格式如下所示："column":[{"name":"rowkey","type":"string"},{"value":"test","type":"string"}]normal 模式下，对于您指定的Column信息，type 必须...
查询诊断
AnalyticDB PostgreSQL版 查询分析功能可供您查看SQL执行计划以及对应统计信息，供您...磁盘读取数据耗时 算子从磁盘中读取数据的耗时。网络传输数据量 Motion算子节点间网络传输的数据总量。网络传输耗时 Motion算子节点间网络传输数据耗时。
OSS数据源
支持的字段类型与使用限制 离线读 OSS Reader实现了从OSS读取数据并转为数据集成协议的功能，OSS本身是无结构化数据存储。对于数据集成而言，OSS Reader支持的功能如下。支持 不支持 支持且仅支持读取TXT格式的文件，且要求TXT中schema为...
BI分析模式数据面板功能介绍
刷新返回数据 单击 图标，可刷新绑定的字段获取返回数据的内容，可保证获取数据的新鲜程度。查看并调整返回数据 单击 图标，在弹出的 查询结果设置 面板中调整查询结果的数据条数和在数据响应结果内查看获取的数据内容。调试数据 单击 图标...
通过Logstash导入数仓版
reset_beginning：指定Logstash启动后从哪个位置开始读取数据，默认是结束位置，即Logstash进程会从上次读取结束时的偏移量开始继续读取数据；如果之前没有消费过，则从头读取数据。如果您要导入原数据，需将 reset_beginning 值改为 true...
OCS与数据库结合使用示例
beijing,Value=7 从OCS中读取数据.Key=non-beijing,Value=7 从OCS中读取数据.Key=non-beijing,Value=7 …… …… 从结果可以看出，程序第1次是从MySQL数据库当中查询数据，后面的19次都是从OCS缓存中获取key对应的value直接返回。...
通用云盘IO加速功能技术介绍
背景 将数据从磁盘读取到内存，或将内存数据写入磁盘是数据库系统常见的IO操作。相比内存操作，磁盘IO操作运行速度相对较慢，需消耗较多的时间。当出现大规模数据读写或频繁数据读写请求时，IO操作可能成为系统瓶颈。因此，阿里云RDS产品...
IO加速
背景 将数据从磁盘读取到内存，或将内存数据写入磁盘是数据库系统常见的IO操作。相比内存操作，磁盘IO操作运行速度相对较慢，需消耗较多的时间。当出现大规模数据读写或频繁数据读写请求时，IO操作可能成为系统瓶颈。因此，阿里云RDS产品...
通用云盘IO加速功能
背景 将数据从磁盘读取到内存，或将内存数据写入磁盘是数据库系统常见的IO操作。相比内存操作，磁盘IO操作运行速度相对较慢，需消耗较多的时间。当出现大规模数据读写或频繁数据读写请求时，IO操作可能成为系统瓶颈。因此，阿里云RDS产品...
通用云盘IO加速功能
背景 将数据从磁盘读取到内存，或将内存数据写入磁盘是数据库系统常见的IO操作。相比内存操作，磁盘IO操作运行速度相对较慢，需消耗较多的时间。当出现大规模数据读写或频繁数据读写请求时，IO操作可能成为系统瓶颈。因此，阿里云RDS产品...
功能简介
依托企业数据智能平台，您可以设计高质量的标准化数据模型，减少重复开发工作，全面了解数据质量、数据使用情况和系统运行情况，并从业务视角更直观地使用并探索数据，更高效地从数据中获取业务价值。目前企业数据智能平台提供以下功能：...
功能概览
基本概念 名词 英文 说明 站点对 Site Pair 在跨地域容灾或跨可用区容灾时，需要将数据从一个站点复制到另一个站点，因此需要对这两个站点进行配对，称为站点对。每个容灾站点对可以创建多个保护组。一个站点对中的保护组的容灾方向只有...
ETL工具支持概览
如果数据量较大，需要并发导入，则建议您先通过数据集成服务把数据从其他数据源导入到OSS，再通过OSS外部表导入 AnalyticDB PostgreSQL版。Pentaho Kettle 数据集成软件：开源的ETL工具。支持将数据先通过Kettle导入到本地磁盘，再通过COPY...
ETL工作流快速体验
电商漏斗模型分析 DataWorks MaxCompute 数据开发 基于漏斗模型，使用DataStudio 数据开发 模块完成从原始数据获取购买商品的用户路径数据，并计算从用户的浏览、点击、购买环节流量的转化情况。智慧城市人口财产主题分析 DataWorks ...
将自建ClickHouse向企业版迁移
在目标集群中使用 Remote 函数从源集群的源表中读取数据。INSERT INTO db.table SELECT*FROM remote('source-hostname:9000',db,table,'exporter','password-here')在源集群中使用 Remote 函数将数据推送到目标集群中。说明 为了使 Remote ...
时空引擎版本发布记录
修复轨迹从OSS读取数据失败时支持重试。4.5 新特性 新增Ganos支持PostgreSQL 14系列。性能优化 增强外部存储的轨迹对象增加缓存，提升访问性能。Bug修复 修复栅格数据导出到OSS会缺少文件后缀的问题。修复栅格对部分数据统计时失败的问题。...
多行文本
段落内容：需要显示的段落内容，支持从数据中获取。如果此配置项和数据中都配置了段落内容，则优先使用数据中的配置。文本滚动 参数 说明 溢出滚动 打开开关，如果文本溢出，会自动滚动播放。关闭开关，无法滚动查看溢出的文本。匀速滚动 ...
什么是数据资源平台
阿里云数据资源平台是数据资产定义、加工、管理、服务的全流程平台，提供数据同步、数据查询、数据标准、数据建模、数据加工、质量评估、业务模型构建、资产管理、数据服务等功能，为智能数据应用持续稳定供给全量、标准、干净、智能的数据...
时空数据库版本发布记录
本文介绍PolarDB PostgreSQL版时空数据库（Ganos）的版本更新说明。6.X 6.3 类别 说明 新增特性 Trajectory SQL 新增 ST_InsertAttr 函数，支持为轨迹增加新的属性。GeomGrid SQL 新增 ST_Degeneralize 函数，支持将低层级网格分解成高层级...
时空数据库版本发布记录
本文介绍PolarDB PostgreSQL版（兼容Oracle）时空数据库（Ganos）的版本更新说明。6.X 6.3 类别 说明 新增特性 Trajectory SQL 新增 ST_InsertAttr 函数，支持为轨迹增加新的属性。GeomGrid SQL 新增 ST_Degeneralize 函数，支持将低层级...
多行文本
段落内容：需要显示的段落内容，支持从数据中获取。如果此配置项和数据中都配置了段落内容，则优先使用数据中的配置。文本滚动 参数 说明 溢出滚动 打开开关，如果文本溢出，会自动滚动播放。关闭开关，无法滚动查看溢出的文本。滚动持续...
文档修订记录
绑定后，才可读取数据源或集群中的数据，并进行相关开发操作。开发前准备：绑定数据源或集群 2023.12.29 新增功能 数据源 为给您带来更统一的产品使用体验，DataWorks将MaxCompute、Hologres、AnalyticDB for PostgreSQL、AnalyticDB for ...
Query Profile介绍
LocalDiskReadIOTime 从本地缓存读取数据产生的I/O耗时。该指标仅适用于存算分离实例。RemoteReadIOTime 从远端OSS读取数据产生的I/O耗时。该指标仅适用于存算分离实例。IoSeekTime IO Seek寻址过程产生的总耗时。该指标仅适用于存算分离...
使用ClickHouse-Local迁移上云
背景信息 如果ClickHouse中提供了您自建数据库系统对应的集成引擎或表函数，或者您自建数据库系统提供了JDBC驱动程序或ODBC驱动程序，您就可以使用ClickHouse-Local作为ETL工具，将数据从当前的数据库系统迁移到云数据库ClickHouse企业版。...
管理缓存
客户端读取数据块时，如果数据已经存在于Alluxio中，则客户端将直接读取对应Worker节点；如果Alluxio中不存在数据，则会先缓存数据至Alluxio中，以便下次从Worker节点读取。管理数据生命周期 数据生命周期管理常见命令如下表所示。命令 ...
迭代器功能说明
从迭代器获取数据 迭代器数据响应结果应为复杂数组类型，数组的每一项数据可向内传递给子级组件。根据就近原则，迭代器内组件可获取最近一级父级迭代器的单元数据项，经过组件过滤器，得到最终的响应结果。组件从迭代器中获取数据操作步骤...
迭代器功能说明
从迭代器获取数据 迭代器数据响应结果应为复杂数组类型，数组的每一项数据可向内传递给子级组件。根据就近原则，迭代器内组件可获取最近一级父级迭代器的单元数据项，经过组件过滤器，得到最终的响应结果。组件从迭代器中获取数据操作步骤...
查看并管理实时任务
指定来源表读取数据时点：设置指定开始时间会让所有支持startTime的来源表均从该时刻开始读取数据。重要 目前支持Log Service CDC、Kafka CDC、MySQL CDC、MongoDB CDC、OceanBase CDC指定来源表读取数据时点。SQL作业中的代码参数配置将...
获取集群的VPC网段IP
将数据从其他数据库导入 云数据库ClickHouse 时，需要将目标 云数据库ClickHouse 集群所在的VPC网段IP地址添加到源数据库的白名单中。本文介绍了如何获取 云数据库ClickHouse 集群所在的VPC网段IP地址。操作步骤 复制目标 云数据库...
导入概述
您可以通过MySQL协议提交例行导入作业，生成一个常驻线程，不间断的从数据源（例如Kafka）中读取数据并导入到StarRocks中，详细信息请参见 Routine Load。异步导入 Insert Into 类似MySQL中的Insert语句，StarRocks提供 INSERT INTO tbl ...
- 产品推荐
- 这些文档可能帮助您