XML函数
本节中描述的函数以及类函数的表达式都在类型 xml 的值上操作。用于在值和类型 xml 之间转换的类函数的表达式 xmlparse 和 xmlserialize 记录在这里，而不是在本节中。使用大部分这些函数要求本数据库使用了 configure-with-libxml 进行...
使用二级索引读取数据
当返回的属性列在索引表中时，您可以直接读取索引表获取数据，否则请自行反查数据表获取数据。前提条件 已初始化Client。具体操作，请参见 初始化OTSClient。已创建二级索引。具体操作，请参见 创建二级索引。注意事项 索引表只能用于读取...
配置Kudu输入组件
配置Kudu输入组件后，可以读取Kudu数据源中的数据至Dataphin，进行数据集成与数据开发。本文为您介绍如何配置Kudu输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建Kudu数据源。具体操作，请参见 创建Kudu数据源。进行...
逻辑备份、物理备份与快照
快照：基于快照技术获取指定数据集合的一个完全可用拷贝，随后可以选择仅在本机上维护快照，或者对快照进行数据跨机备份，常见工具为文件系统Veritas File System、卷管理器Linux LVM、存储子系统NetApp NAS等。说明 数据库备份DBS 暂不...
常见问题
本文为您介绍数据集成任务常见问题。资源组操作及网络连通 在做离线同步时，我们需要先了解哪些DataWorks及其网络能力？同步ECS自建的数据库的数据时，如何保障数据库与DataWorks的网络连通？数据库和DataWorks不在同一个地域（Region）下...
如何选择备份方式
数据库备份DBS 支持逻辑备份和物理备份两种备份方式，为数据库提供连续数据保护、低成本的备份服务，您可以在评估业务后选择最符合您需求的备份方式。逻辑备份与物理备份的区别 参照项 逻辑备份 物理备份 概念 数据库对象级备份，备份内容...
读取数据
表格存储 提供了单行读取、批量读取、范围读取、迭代读取和并行读取的查询方式用于读取数据表中数据。数据写入到数据表后，您可以选择所需数据查询方式进行数据读取。如果需要了解 表格存储 各场景的应用案例，请参见 快速玩转Tablestore...
数据导入概览
从阿里云对象存储OSS导入数据至图数据库GDB实例 图数据库GDB服务端集成有数据导入模块，可以获取您提供的.csv格式的OSS数据文件，并将其解析为图中的点数据和边数据，然后将点数据和边数据导入至图数据库GDB实例。步骤 步骤说明 ① 将需要...
Hive数据源
Hive数据源为您提供读取和写入Hive双向通道的功能，本文为您介绍DataWorks的Hive数据同步的能力支持情况。背景信息 Hive是基于Hadoop的数据仓库工具，用于解决海量结构化日志的数据统计。Hive可以将结构化的数据文件映射为一张表，并提供...
查看并管理实时任务
指定来源表读取数据时点：设置指定开始时间会让所有支持startTime的来源表均从该时刻开始读取数据。重要 目前支持Log Service CDC、Kafka CDC、MySQL CDC、MongoDB CDC、OceanBase CDC指定来源表读取数据时点。SQL作业中的代码参数配置将...
Amazon S3数据源
Simple Storage Service（简称S3）是一种专为从任意位置存储和检索任意数量的数据而构建的对象存储，DataWorks数据集成支持使用Amazon S3 Reader插件从S3数据库读取数据，本文为您介绍DataWorks的Amazon S3数据读取能力。支持的Amazon S3...
离线同步常见问题
读取Loghub同步少数据 读取Loghub字段映射时读到的字段不符合预期 读取kafka配置了endDateTime来指定所要同步的数据的截止范围，但是在目的数据源中发现了超过这个时间的数据 Kafka中数据量少，但是任务出现长时间不读取数据也不结束，一直...
时空引擎版本发布记录
修复轨迹从OSS读取数据失败时支持重试。4.5 新特性 新增Ganos支持PostgreSQL 14系列。性能优化 增强外部存储的轨迹对象增加缓存，提升访问性能。Bug修复 修复栅格数据导出到OSS会缺少文件后缀的问题。修复栅格对部分数据统计时失败的问题。...
ECS应用角色（EMR 3.32及之前版本和EMR 4.5及之前版本...
ots:BatchGetRow 批量读取一个表或多个表中的若干行数据。ots:ComputeSplitPointsBySize 将全表的数据在逻辑上划分成接近指定大小的若干分片，返回这些分片之间的分割点以及分片所在机器的提示。ots:StartLocalTransaction 为分区键值创建...
透明数据加密概述
RDS PostgreSQL支持透明数据加密（Transparent Data Encryption，简称TDE），对数据文件进行实时加密和解密，保护用户数据隐私，本文介绍透明数据加密的基本概念和加密原理。什么是透明数据加密 透明数据加密指对数据文件执行实时I/O加密和...
BLOB数据类型（邀测中）
} 数据读取 Lindorm支持以下两种方式读取BLOB列的数据：方式一：一次性读取一行数据中整个BLOB列的全部内容，并保存至一个字节数组中。直接读取整个BLOB列的完整内容 ResultSet resultSet=stmt.executeQuery("select*from"+tableName+...
DataV读取数据源超时
问题描述 阿里云DataV数据可视化产品主要用于动态、实时数据展示场景，需要对数据高频实时查询，对数据访问性能有一定要求，您的数据源访问经常出现超时的情况。问题原因 查询超时的原因如下：使用SQL查询的业务数据表数量太大。API接口...
RDS SQL Server I/O高问题
数据页读取I/O吞吐高 数据页读取（Page Reads）的I/O吞吐高是导致RDS SQL Server实例I/O吞吐高的原因中最常见的一种，主要原因是实例的缓存不足，导致查询请求在执行过程中由于缓存无法命中（cache miss），从而需要在磁盘中读取大量的数据...
配置FTP输入组件
FTP输入组件适用于从FTP中将数据读取至大数据平台对接的存储系统内，进行数据整合和再加工。本文为您介绍如何配置FTP输入组件。前提条件 已创建FTP数据源，详情请参见 创建FTP数据源。进行FTP输入组件属性配置的账号，需具备该数据源的同步...
配置FTP输入组件
FTP输入组件适用于从FTP中将数据读取至大数据平台对接的存储系统内，进行数据整合和再加工。本文为您介绍如何配置FTP输入组件。前提条件 已创建FTP数据源，详情请参见 创建FTP数据源。进行FTP输入组件属性配置的账号，需具备该数据源的同步...
重要组件
由于多个主机的数据库实例需要访问块存储上的同一份数据，常用的Ext4等文件系统不支持多点挂载，PolarDB数据库团队自行研发了专用的用户态文件系统，提供常见的文件读写查看接口，支持类似O_DIRECT的非缓存方式读写数据，还支持数据页原子...
通过实时计算订阅数据
订阅DataHub数据进行实时计算，插入到RDS实例的目标表中。在RDS数据库中，按照源表结构创建相应的表。参考 数据存储配置白名单，配置RDS数据库白名单。由于本案例的RDS数据库位于华东1区，而流计算项目位于华东2区，所以需要在RDS数据库中...
读取数据
表格存储提供了单行读取、批量读取和范围读取的查询方式用于读取数据表中数据。当要读取单行数据或者批量读取表中数据时，您必须指定行的完整主键；当要范围读取表中数据时，您需要指定完整主键范围或者主键前缀。读取数据时支持配置返回...
时空数据库版本发布记录
本文介绍PolarDB PostgreSQL版（兼容Oracle）时空数据库（Ganos）的版本更新说明。6.X 6.3 类别 说明 新增特性 Trajectory SQL 新增 ST_InsertAttr 函数，支持为轨迹增加新的属性。GeomGrid SQL 新增 ST_Degeneralize 函数，支持将低层级...
时空数据库版本发布记录
本文介绍PolarDB PostgreSQL版时空数据库（Ganos）的版本更新说明。6.X 6.3 类别 说明 新增特性 Trajectory SQL 新增 ST_InsertAttr 函数，支持为轨迹增加新的属性。GeomGrid SQL 新增 ST_Degeneralize 函数，支持将低层级网格分解成高层级...
离线同步数据质量排查
如果写出数据和目标存储已有数据发生数据约束（主键冲突、唯一键约束、外键约束等），数据库则使用来源数据update更新目标表已有数据行，在目标表存在多个数据约束的情况下，数据替换可能会失败并产生脏数据 如果写出数据和目标存储已有...
Python
步骤一：获取数据库连接参数 参考 获取连接参数 文档，获取相应的租户连接参数，例如：$obclient-hxxx.xxx.xxx.xxx-P3306-u a*-p*-Dtest 数据库连接参数包含了访问数据库所需的参数信息，在验证示例代码前，可通过数据库连接参数验证登录...
读取数据
表格存储 提供了GetRow接口用于读取单行数据以及BatchGetRow、GetRange等接口用于读取多行数据。如果需要了解表格存储各场景的应用案例，请参见 快速玩转Tablestore入门与实战。查询方式 表格存储 提供的数据读取接口包括GetRow、...
查看并管理实时任务
指定来源表读取数据时点：设置指定开始时间会让所有支持startTime的来源表均从该时刻开始读取数据。重要 目前支持Log Service CDC、Kafka CDC、MySQL CDC、MongoDB CDC、OceanBase CDC指定来源表读取数据时点。SQL作业中的代码参数配置将...
开发前准备：绑定数据源或集群
若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发（DataStudio）模块。绑定后，才可读取数据源或集群中的数据，并进行相关开发操作。前提条件 您需根据后续要开发和调度...
应用开发概览
规划数据库对象 二级目录 文档名称 规划数据对象 创建数据库 创建表 创建索引 数据写入 二级目录 文档名称 数据写入 插入数据 更新数据 删除数据 替换数据 数据读取 二级目录 文档名称 文档名称 数据读取 关于查询 单表查询 条件查询 排序...
OCS与数据库结合使用示例
beijing,Value=7 从OCS中读取数据.Key=non-beijing,Value=7 从OCS中读取数据.Key=non-beijing,Value=7 …… …… 从结果可以看出，程序第1次是从MySQL数据库当中查询数据，后面的19次都是从OCS缓存中获取key对应的value直接返回。...
使用二级索引读取数据
当返回的属性列在索引表中时，您可以直接读取索引表获取数据，否则请自行反查数据表获取数据。说明 二级索引包括全局二级索引和本地二级索引。关于二级索引的更多信息，请参见 二级索引简介。前提条件 已初始化Client。具体操作，请参见 ...
应用场景
数据库审计服务支持对阿里云原生数据库（例如RDS云数据库）及自建数据库（例如ECS自建数据库）进行适配审计，满足您对数据审计及日志数据留存的要求。RDS云数据库审计 通过在用户PC（该PC通过数据库运维工具直接连接RDS数据库）或访问数据...
ORC文件
它针对大型流式数据读取进行了优化，但集成了对快速查询所需要行的相关支持。ORC和Parquet文件格式的区别：本质上Parquet针对Spark进行了优化，而ORC针对Hive进行的优化。前提条件 通过主账号登录 阿里云 Databricks控制台。已创建集群，...
流表
读取流表数据 读取全表数据 SELECT*FROM MyStream;由于流表是无界的，因此该查询会不间断地进行。如果想要停止访问数据，请使用组合键 Ctrl+C 终止查询。从最早的数据开始读取 SELECT/*+OPTIONS('scan.startup.mode'='earliest-offset')*/*...
创建多物理表服务单元
Dev-Prod：选择了Dev-Prod模式后，服务单元读取数据时您可以选择开发数据源和生产数据源。您可以在数据源页面，查看您的数据源是生产数据源还是开发数据源。服务单元描述 填写对服务单元简单的描述。不超过128字符。最大返回条数 Dataphin...
准备数据
在数据准备阶段，您需要同步原始数据至MaxCompute。前提条件 已完成 准备环境。已新增MaxCompute数据源。详情请参见 创建MaxCompute数据源。准备数据源 通过RDS创建MySQL实例，获取RDS实例ID。详情请参见 快速创建RDS MySQL实例。在RDS控制...
导入概述
为了更好地满足各种不同的业务场景，StarRocks支持多种数据模型，StarRocks中存储的数据需要按照特定的模型进行组织。本文为您介绍数据导入的基本概念、原理、系统配置、不同导入方式的适用场景，以及一些最佳实践案例和常见问题。背景信息...
通过缓存优化性能
Delta缓存通过使用快速中间数据格式在节点的本地存储中创建远程文件的副本来加速数据读取。每当需要从远程位置获取文件时，数据都会自动缓存。然后在本地的连续读取上述数据，从而显著提高读取速度。说明 详细内容可参考Databricks官网文章...
- 产品推荐
- 这些文档可能帮助您