配置DataHub输入组件
配置DataHub输入组件后，可以将DataHub数据源中的数据读取至大数据平台对接的存储系统内，并进行数据整合和二次加工。本文为您介绍如何配置DataHub输入组件。前提条件 已创建离线单条管道，详情请参见 通过单条管道创建集成任务。操作步骤 ...
配置DataHub输入组件
配置DataHub输入组件后，可以将DataHub数据源中的数据读取至大数据平台对接的存储系统内，并进行数据整合和二次加工。本文为您介绍如何配置DataHub输入组件。前提条件 已创建离线单条管道，详情请参见 通过单条管道创建集成任务。操作步骤 ...
通过缓存优化性能
性能：Delta缓存中存储的数据比Spark缓存中的数据读取和操作速度更快。这是因为Delta缓存使用高效的解压算法，并以最佳格式输出数据，以便使用整个阶段的代码生成进行进一步处理。自动与手动控制：启用Delta缓存时，必须从远程源获取的数据...
访问CDC数据
说明 SELECT语法使用中需要注意以下两点：必须使用_cdc_timestamp_kafka>$startTimestamp and_cdc_timestamp_kafka<$endTimestamp 指定Kafka中的数据读取范围。对于_cdc_operation_type=D 的字段，仅显示 rowKey 对应的字段，其他字段为空...
配置Kafka输入组件
配置Kafka输入组件后，可以将kafka数据源中的数据读取至大数据平台对接的存储系统内，并进行数据整合和二次加工。本文为您介绍如何配置Kafka输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建Kafka数据源。具体操作，...
配置Kafka输入组件
配置Kafka输入组件后，可以将kafka数据源中的数据读取至大数据平台对接的存储系统内，并进行数据整合和二次加工。本文为您介绍如何配置Kafka输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建Kafka数据源。具体操作，...
查询诊断
说明 算子从磁盘读取数据包括Scan算子读取原始数据或其它算子由于内存不足所出现的数据落盘（Spill）。磁盘读取数据耗时 算子从磁盘中读取数据的耗时。网络传输数据量 Motion算子节点间网络传输的数据总量。网络传输耗时 Motion算子节点间...
功能特性
数据源配置管理 您可以在产品中添加多种不同类型的数据源配置，每个数据来源配置代表一个核对系统在后续核对工作中可以用来读取数据的数据来源配置，当前支持如下类型的数据源配置：OSS：OSS 文件系统的读取配置，需要您输入访问信息，...
数据缓存
WriteInFileCacheBytes 保存到缓存文件中的数据量。WriteInFileCacheNum 保存的Block数量，WriteInFileCacheBytes/WriteInFileCacheBytes为Block的平均大小。其中：IOHitCacheNum/IOTotalNum=1 时，表示缓存完全命中。...
缓冲区管理
主节点Buffer Pool中的数据页，根据是否包含未来数据（即只读节点的回放位点之后新产生的数据），可以分为两类：可以写入存储的数据页和不能写入存储的数据页。该判断依赖以下两个位点：Buffer最近一次修改对应的LSN，即Buffer Latest LSN...
数据库
buffer_content 正等待读取或者写入内存中的数据页。buffer_io 正等待一个数据页面上的 I/O。replication_origin 正等待读取或者更新复制进度。replication_slot_io 正等待复制槽上的 I/O。proc 正等待读取或者更新 fast-path 锁信息。...
数据库
buffer_content 正等待读取或者写入内存中的数据页。buffer_io 正等待一个数据页面上的 I/O。replication_origin 正等待读取或者更新复制进度。replication_slot_io 正等待复制槽上的 I/O。proc 正等待读取或者更新 fast-path 锁信息。...
事务隔离
不可重复读 一个事务重新读取之前读取过的数据，发现该数据已经被另一个事务（在初始读之后提交）修改。幻读 一个事务重新执行一个返回符合一个搜索条件的行集合的查询，发现满足条件的行集合因为另一个最近提交的事务而发生了改变。序列化...
JindoFS实战演示
本视频为您介绍如何将HDFS中的文件载入Hive表，然后将Hive中的数据按照分区归档到OSS。OSS访问加速 文档链接 视频链接 视频发布时间 描述 访问OSS这类对象存储最快的方式 访问OSS这类对象存储最快的方式 2021-05-25 JindoFS SDK是一个简单...
归档直读
归档直读数据取回量取决于与HTTP建立连接时请求头中指定的数据读取范围。传输连接的提前断开不会影响已发起请求的归档直读数据取回量。功能对比 开启归档直读的前后对比如下：项目 未开启归档直读（默认）开启归档直读 取回方式 先解冻，再...
二级索引
desc-o/tmp/describe_table_meta.json 使用二级索引查询数据 读取单行数据 读取表中的数据。您也可以将读取的数据导出到本地JSON格式的文件中。说明 如果读取的数据行不存在，则返回结果为空。命令格式 get-pk '[primaryKeyValue,...
授权与回收数据源权限
同步读：通过同步组件对来源存储中的数据进行读取的权限。同步写：通过同步组件对目标存储进行写入的权限。执行：仅支持用于执行数据库SQL任务。该权限不替代同步读、同步写权限。授权原因 填写授予数据源权限的原因。不超过128字符。单击 ...
授权与回收数据源权限
同步读：通过同步组件对来源存储中的数据进行读取的权限。同步写：通过同步组件对目标存储进行写入的权限。执行：仅支持用于执行数据库SQL任务。该权限不替代同步读、同步写权限。授权原因 填写授予数据源权限的原因。不超过128字符。单击 ...
配置ClickHouse输入组件
同步ClickHouse数据源的数据至其他数据源的场景中，您需要先配置ClickHouse输入组件读取的数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置ClickHouse输入组件。前提条件 在开始执行操作前，请确认您已完成ClickHouse数据源...
读取数据
一次请求中读取多张表中的数据。单次请求中支持读取的最大行数为100行。系统默认返回所有列，您可以配置只返回指定列的数据。批量读取的所有行采用相同的参数条件，例如 ColumnsToGet=[colA]，表示要读取的所有行都只读取colA列。使用过滤...
快速入门
for record in o.read_table(table):print(record[0],record[1])#以运行SQL的方式读取表中的数据。result=o.execute_sql('select*from my_new_table;',hints={'odps.sql.allow.fullscan':'true'})#读取SQL执行结果。with result.open_...
配置ClickHouse输入组件
同步ClickHouse数据源的数据至其他数据源的场景中，您需要先配置ClickHouse输入组件读取的数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置ClickHouse输入组件。前提条件 在开始执行操作前，请确认您已完成ClickHouse数据源...
RDS SQL Server I/O高问题
数据文件的读请求操作主要包括查询请求产生的数据页读取和数据库备份产生的数据页读取，事务日志文件在做备份时会有较多的读I/O负载，其他情况主要是写I/O负载。当发现实例的I/O吞吐较高时，您可以在 自定义指标 中增加以下性能指标，然后...
读写Elasticsearch数据
云原生数据湖分析DLA（Data Lake Analytics）中支持接入Elasticsearch，通过标准SQL语句读取Elasticsearch中的数据，从而实现Elasticsearch中的数据与其他数据源的数据联合查询等业务需求。本文档主要介绍了DLA读写Elasticsearch数据的操作...
数据导入概览
从阿里云对象存储OSS导入数据至图数据库GDB实例 图数据库GDB服务端集成有数据导入模块，可以获取您提供的.csv格式的OSS数据文件，并将其解析为图中的点数据和边数据，然后将点数据和边数据导入至图数据库GDB实例。步骤 步骤说明 ① 将需要...
读取数据
查询方式 表格存储 提供的数据读取接口包括GetRow、BatchGetRow和GetRange。读取数据时，请根据实际查询场景使用相应查询方式读取数据。重要 当要读取带有自增主键列的表数据时，请确保已获取到包含自增主键列值在内的完整主键。更多信息，...
实时研发基本流程概述
通过BI工具（Quick BI等）读取MySQL中的数据，进行可视化分析。流程指引 使用Dataphin进行实时研发的基本流程如下：主流程 描述 操作指导 准备工作 使用Dataphin进行实时研发前您需完成相关云资源的准备。云资源准备包括阿里云账号资源准备...
实时研发基本流程概述
通过BI工具（Quick BI等）读取MySQL中的数据，进行可视化分析。流程指引 使用Dataphin进行实时研发的基本流程如下：主流程 描述 操作指导 准备工作 使用Dataphin进行实时研发前您需完成相关云资源的准备。云资源准备包括阿里云账号资源准备...
配置Oracle输入组件
同步Oracle数据源的数据至其他数据源的场景中，您需要先配置Oracle输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置Oracle输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建Oracle数据...
配置Oracle输入组件
同步Oracle数据源的数据至其他数据源的场景中，您需要先配置Oracle输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置Oracle输入组件。操作步骤 请参见 通过离线单条管道配置集成任务，进入离线管道脚本的开发...
MongoDB只读节点简介
为了分担主从节点的读取压力，您可以根据业务需求创建一个或多个只读节点，来满足大量的数据读取需求，增加应用的吞吐量。只读节点架构 只读节点（ReadOnly）的特点如下：只读节点（ReadOnly）通过操作日志（Oplog）从延迟最低的主节点...
Java SDK快速入门
设置预留读写吞吐量，容量型实例中的数据表只能设置为0，高性能实例中的数据表可以设置为非零值。request.setReservedThroughput(new ReservedThroughput(new CapacityUnit(0,0)));发起请求。client.createTable(request);} } 步骤二：写入...
配置AnalyticDB for PostgreSQL输入组件
同步AnalyticDB for PostgreSQL数据源的数据至其他数据源的场景中，您需要先配置AnalyticDB for PostgreSQL输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置AnalyticDB for PostgreSQL输入组件。操作步骤 请...
配置AnalyticDB for PostgreSQL输入组件
同步AnalyticDB for PostgreSQL数据源的数据至其他数据源的场景中，您需要先配置AnalyticDB for PostgreSQL输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置AnalyticDB for PostgreSQL输入组件。前提条件 在...
配置PolarDB输入组件
同步PolarDB数据源的数据至其他数据源的场景中，您需要先配置PolarDB输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置PolarDB输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建PolarDB数据源...
读写RDS MySQL数据
DLA如何读取OSS中的数据，请参见 操作步骤。以 person 表为例，通过以下SQL语句把 oss_db 中customer的十条记录进行了转换，然后插入到 hello_mysql_vpc_rds.person 表中。mysql>insert into hello_mysql_vpc_rds.person select c_...
配置PolarDB输入组件
同步PolarDB数据源的数据至其他数据源的场景中，您需要先配置PolarDB输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置PolarDB输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建PolarDB数据源...
导入概述
Broker Load Broker导入，即通过部署的Broker程序读取外部数据源（例如HDFS）中的数据，并导入到StarRocks。Broker进程利用自身的计算资源对数据进行预处理导入。FE Frontend，StarRocks系统的元数据和调度节点。在导入流程中主要负责导入...
导入概述
Broker Load Broker导入，即通过部署的Broker程序读取外部数据源（例如HDFS）中的数据，并导入到StarRocks。Broker进程利用自身的计算资源对数据进行预处理导入。Spark Load Spark导入，即通过外部资源（例如Spark）对数据进行预处理生成...
创建OSS外部表
当您需要使用MaxCompute读取存储在OSS目录中的数据或需要将MaxCompute项目中的数据写入OSS目录时，可以在MaxCompute项目中创建OSS外部表建立与目录的映射关系。OSS外部表包含分区表和非分区表两种类型，实际需要创建哪种类型的表，主要取决...
- 产品推荐
- 这些文档可能帮助您