读取数据
并发读取数据 TableStoreReader是表格存储Java SDK提供的工具类，封装了BatchGetRow接口，可以实现并发查询表中数据。同时支持多表查询、查询状态统计、行级别回调和自定义配置功能。适用于能确定完整主键，且要读取行数较多或者要读取多个...
使用二级索引读取数据
注意事项 索引表只能用于读取数据。本地二级索引表的第一列主键必须与数据表的第一列主键相同。当需要返回的属性列不在索引表中时，您需要自行反查数据表来获取数据。单行读取数据 调用 GetRow 接口读取一行数据。更多信息，请参见 读取...
Hudi数据源
本文介绍 云数据库 SelectDB 版 与Hudi数据源进行对接使用的流程，帮助您对Hudi数据源进行联邦分析。...FillBlockTime：Java数据拷贝为C++数据的时间。GetRecordReaderTime：调用Java SDK并创建Hudi Record Reader的时间。
Java SDK快速入门
使用宽表模型时，关于创建表、写入数据和读取数据的更多信息，请参见 创建数据表、创建加密表、写入数据、读取数据。相关API信息，请参见 CreateTable、PutRow 和 GetRow。使用时序模型时，关于创建表、写入数据和读取数据的更多信息，请...
LogHub（SLS）数据源
常见问题 读取Loghub同步某字段有数据但是同步过来为空 读取Loghub同步少数据 读取Loghub字段映射时读到的字段不符合预期 更多其他数据集成常见问题请参见 数据集成常见问题。附录：LogHub（SLS）脚本Demo与参数说明 附录：离线任务脚本...
版本说明
修复读取数据类型和写入类型不一致的问题；修复写入速率监控和磁盘监控数据错误的问题。V2.2.7 2018年7月6日 新特性 发布新版本 SDK，支持多值的数据写入、查询和分析。V2.2.4 2018年5月24日 新特性 支持 string 和 boolean 类型数据的写入...
Sensors Data（神策）数据源
不支持直接读取SensorsData中的数据，需要根据神策数据存储类型选择Hive、HDFS等插件来读取数据。数据同步任务开发 数据同步任务的配置入口和通用配置流程指导可参见下文的配置指导，详细的配置参数解释可在配置界面查看对应参数的文案提示...
同步 OceanBase 数据库的数据至 DataHub
参数 描述 读取并发配置 该参数用于配置全量同步阶段从源端读取数据的并发数，最大限制为 512.并发数过高可能会造成源端压力过大，影响业务。写入并发配置 该参数用于配置全量同步阶段往目标端写入数据的并发数，最大限制为 512。并发数过...
GetRow
time_range TimeRange 否，和max_versions必须至少存在一个 读取数据的版本时间戳范围。时间戳的单位为毫秒，取值最小值为0，最大值为INT64.MAX。如果要查询一个范围，则指定start_time和end_time；如果要查询一个特定时间戳，则指定...
应用开发概览
规划数据库对象 二级目录 文档名称 规划数据对象 创建数据库 创建表 创建索引 数据写入 二级目录 文档名称 数据写入 插入数据 更新数据 删除数据 替换数据 数据读取 二级目录 文档名称 文档名称 数据读取 关于查询 单表查询 条件查询 排序...
数据传输与迁移概述
场景从MaxCompute读数据 批量数据读取（数据通道）场景特征。周期调度任务（天、小时级别调用）。对数据延迟不敏感（只要在调度周期执行完成即可满足需求）。典型场景。类型 典型场景 数仓数据批量导出 数据集成-批量数据导出。Flink读取...
产品架构
DTS使用增量数据读取模块来获取全量数据迁移过程中发生的数据更新。当全量数据迁移开始时，增量数据读取模块将被激活。在全量数据迁移阶段，增量数据会被解析、重新格式化并存储在本地DTS服务器上。增量数据迁移：当全量数据迁移完成后，...
连接方式概述
驱动 在连接 OceanBase 数据库的 Oracle 租户时，支持的驱动如下：Java 驱动（OceanBase Connector/J）OceanBase Connector/J 使用标准 Java 数据库连接(JDBC)API 为 Java 提供连接到 OceanBase 数据库的驱动程序。Java 数据库连接器（Java...
流表
本文介绍流表的使用方法及示例。概述 流表：流表用于存储随时间发生的事件，仅支持插入数据，...指定历史时间读取数据 SELECT/*+OPTIONS('scan.startup.mode'='timestamp',scan.startup.timestamp-millis'='1647360000000')*/*FROM MyStream;
配置DataHub输入组件
配置DataHub输入组件后，可以将DataHub数据源中的数据读取至大数据平台对接的存储系统内，并进行数据整合和二次加工。本文为您介绍如何配置DataHub输入组件。前提条件 已创建离线单条管道，详情请参见 通过单条管道创建集成任务。操作步骤 ...
配置DataHub输入组件
配置DataHub输入组件后，可以将DataHub数据源中的数据读取至大数据平台对接的存储系统内，并进行数据整合和二次加工。本文为您介绍如何配置DataHub输入组件。前提条件 已创建离线单条管道，详情请参见 通过单条管道创建集成任务。操作步骤 ...
通过缓存优化性能
Delta缓存通过使用快速中间数据格式在节点的本地存储中创建远程文件的副本来加速数据读取。每当需要从远程位置获取文件时，数据都会自动缓存。然后在本地的连续读取上述数据，从而显著提高读取速度。说明 详细内容可参考Databricks官网文章...
MaxCompute
使用Databricks 读写MaxCompute数据 读取maxCompute数据集的dwd_product_movie_basic_info表中ds=20170519分区的数据到DataFrame中,代码实现。说明 odpsUrl和tunnelUrl相关介绍和配置 参照文档 MaxCompute数据管理权限 参照文档 警告 ...
版本发布记录
无 改进读取方式 改进ADB3.0数据读取方式为流式，之前非流式会导致内存占用过高。无 1.0.0 类别 功能点 描述 数据分析 OSS文件数据分析 支持针对单个OSS文件数据进行分析，或者多个OSS Bucket文件进行关联分析。分析结果写入OSS 支持将分析...
离线同步并发和限流之间的关系
在产品中配置位置如图所示：文件类型（OSS、FTP、HDFS、S3）数据读取，主要基于文件粒度并发读取，待读取的文件数量少于任务配置并发数。上面任务期望最大并发数：即是任务配置的并发数，由于数据集成资源组或者任务本身特性等原因，任务...
ORC文件
它针对大型流式数据读取进行了优化，但集成了对快速查询所需要行的相关支持。ORC和Parquet文件格式的区别：本质上Parquet针对Spark进行了优化，而ORC针对Hive进行的优化。前提条件 通过主账号登录 阿里云 Databricks控制台。已创建集群，...
读取OSS数据
在成功创建了OSS外部表后，您可以访问和查询存储在OSS指定目录下的数据文件，实现高效的数据读取操作。背景信息 完成OSS外部表创建后，您可以根据需要选择如下方式之一对OSS外部表进行操作：（推荐）方式一：将OSS的开源格式数据导入...
引擎功能
时序数据高效读写 Lindorm时序引擎提供高效的并发读写，支持每秒百万数据点的数据读取及千万数据点的写入能力。数据写入 支持以下方式进行数据写入：使用SQL的INSERT语句（推荐使用JDBC）。兼容InfluxDB的写入Line Protocol。兼容OpenTSDB...
使用列索引加速ETL
PolarDB 支持ETL（Extract Transform Load）功能，开启该功能后，您可以在RW节点上使用列存索引，RW节点的SQL语句中的 SELECT 请求会发送至只读列存节点并使用列存索引功能进行加速查询，读取数据后，PolarDB 会通过内部网络将数据传回RW...
JindoFS实战演示
Fluid+JindoFS对HDFS上的数据进行训练加速 Fluid+JindoFS对HDFS上的数据进行训练加速 2021-07-13 在AI训练场景中处理HDFS数据面临很多问题，例如计算存储分离，数据读取性能较差，无法满足AI训练作业的IO性能、很多深度学习训练框架并不...
冷数据归档
所以降低冷数据存储成本，提升热数据读取性能，对于使用时序引擎的企业用户具有现实意义。在Lindorm时序引擎中，随着时间的不断推移，数据呈现出很明显的冷温热分层。其相应的概念如下：热数据 最近写入的时序数据。这些时序数据的时间戳...
读数据表
用途 读数据表 算子用于从数据源中读取数据，作为下游节点输入数据的来源。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 使用说明 选择计算资源 选择需要读取的数据源，支持的数据源类型...
SmartData数据读取异常修复公告
历史版本的SmartData（3.0.x～3.5.x）服务存在已知缺陷可能会造成缓存数据出现损坏，导致读取数据内容发生异常。本文为您介绍缺陷影响，缺陷方案以及缺陷修复流程。缺陷影响 缺陷影响的组件：打开SmartData数据缓存功能的所有组件。重要 ...
访问CDC数据
说明 SELECT语法使用中需要注意以下两点：必须使用_cdc_timestamp_kafka>$startTimestamp and_cdc_timestamp_kafka<$endTimestamp 指定Kafka中的数据读取范围。对于_cdc_operation_type=D 的字段，仅显示 rowKey 对应的字段，其他字段为空...
2024年
修复数据处理过程中系统在尝试读取数据文件的特定块时发生错误，触发 beam could not read block in file 报错。该版本调整了文件读取逻辑，增强了对文件块损坏或不可读状态的容错处理，确保数据读取过程的稳定性和可靠性。修复查询监控...
概述
MaxCompute JDBC驱动是MaxCompute提供的Java数据库连接（Java Database Connectivity）接口。您可以通过标准的JDBC接口基于MaxCompute执行海量数据的分布式计算查询。MaxCompute JDBC驱动还可以用于连接MaxCompute和支持JDBC的工具。JDBC...
了解数据资源平台用户和角色体系
数据资源平台提供了完善的权限管控机制，支持以租户或工作组为管控粒度，通过对用户授予...数据读取 拥有工作组内云计算资源的元数据信息和数据信息的访问权限 数据变更 拥有工作组内云计算资源的元数据信息和数据信息的访问权限以及数据变更
支持的数据源及同步方案
DataWorks离线同步为您提供数据读取（Reader）和写入插件（Writer）实现对数据源的读写操作。DataWorks实时同步支持您将多种输入及输出数据源搭配组成同步链路进行单表或整库数据的实时增量同步。DataWorks还为您提供多种数据源之间进行...
将自建ClickHouse向企业版迁移
如果源集群支持从外部网络访问时，您可以将源集群数据读取至目标集群；如果源集群不支持从外部网络访问时，您可以将源集群数据推送至目标集群。（可选）在目标集群上将源集群的IP地址删除。从源集群中删除只读用户。操作步骤 在源集群上...
配置FTP输入组件
FTP输入组件适用于从FTP中将数据读取至大数据平台对接的存储系统内，进行数据整合和再加工。本文为您介绍如何配置FTP输入组件。前提条件 已创建FTP数据源，详情请参见 创建FTP数据源。进行FTP输入组件属性配置的账号，需具备该数据源的同步...
配置FTP输入组件
FTP输入组件适用于从FTP中将数据读取至大数据平台对接的存储系统内，进行数据整合和再加工。本文为您介绍如何配置FTP输入组件。前提条件 已创建FTP数据源，详情请参见 创建FTP数据源。进行FTP输入组件属性配置的账号，需具备该数据源的同步...
备份对数据库的影响
备份原理与影响 类目 逻辑备份 物理备份 全量备份原理 对每张表数据进行切分，然后在数据库上执行SQL语句，多线程并行读取数据。在数据库所在服务器上安装DBS备份网关，然后通过备份网关将数据库文件进行备份（拷贝）。增量备份原理 支持...
强一致分布式事务
例如转账事务在多个数据节点的提交有先后时间差，已提交的分支事务因为数据版本号不满足可见性，正在提交的事务数据全部不可见，从而确保总额数据读取的一致性。分布式事务的下游生态 读写分离的一致性 事务型的分布式数据库一般会采用读写...
访问OSS数据源
步骤一：数据准备 准备用于数据读取的文本文件，将文本文件上传至OSS。本文示例的文本文件名为 readme.txt。具体操作，请参见 上传文件。云原生数据仓库AnalyticDB MySQL版 数据库产品 编写Python程序，将Python程序上传至OSS。本文示例的...
使用DataWorks（离线与实时）
DataWorks离线同步为您提供 数据读取（Reader）和 写入插件（Writer）实现对数据源的读写操作（离线同步）。DataWorks实时同步支持您将多种输入及输出数据源搭配组成同步链路进行单表或整库数据的实时增量同步。DataWorks还为您提供多种...
- 产品推荐
- 这些文档可能帮助您