在本地环境上使用PyODPS
PyODPS是阿里云开发的Python SDK，用于在本地环境上使用MaxCompute服务。...python test-pyodps-local.py 运行结果：111 aaa 222 bbb 333 ccc 444 中文 使用open_reader方式读取pyodps_iris表数据：4.9 3.0 4.7 3.2 4.6 3.1
新功能发布记录
同时，提供多种更加简单高效的非关系型 API 接口，充分发挥 NoSQL 和 SQL 共处的新架构优势，满足用户不同场景下数据的多样性需求。目前仅支持 32C 和 64C 两种规格。产品系列 购买实例 备实例解耦 支持将备实例解耦为一个和现有主集群无关...
如何将一棵LSM-Tree塞进NVM
我们以X-Engine为基础结合非易失内存的优势与限制，重新设计并实现了存储引擎的主要内存数据结构、事务处理和持久化内存分配器等基础组件，最终实现了不需要记录预写式日志的高性能事务处理，降低了整体系统的写入放大并提高了存储引擎的...
计算成本控制
避免资源重复读取 资源的读取尽量放置到Setup阶段读取，避免资源多次读取的性能损失，另外系统也有64次读取的限制，资源的读取请参见 使用资源示例。减少对象构造开销 对于Map、Reduce阶段每次都会用到的Java对象，避免在Map/Reduce函数里...
Flume插件
产品介绍 Flume-DataHub插件是基于Flume开发的DataHub数据订阅/发布插件，可以将采集到的数据写入DataHub，也可以从DataHub读取数据写入其他系统。该插件遵守Flume插件开发规范，安装方便，可以很方便的向DataHub发布/订阅数据。产品安装 ...
SQL其他常见问题
但您需要注意，MaxCompute支持的DECIMAL类型数据的最大长度为38位，但实际业务处理过程中如果数据存储为最大长度，在数据处理过程中很容易出现数据溢出问题，建议调小数据长度。新创建的MaxCompute项目不支持数据类型自动隐式转换，如何...
配置Hologres输入组件
同步Hologres数据源的数据至其他数据源的场景中，您需要先配置Hologres输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置Hologres输入组件。前提条件 已创建Hologres数据源，如何创建，请参见 创建Hologres数据源。...
功能更新动态（2024年）
MySQL数据源新增RDS MySQL版本，使用MySQL 8.0的驱动，支持OpenSSL 3.0，且兼容MySQL5.6、MySQL5.7版本。ElasticSearch数据源支持HTTPS协议的URL。创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB...
文档更新动态（2024年）
MySQL数据源新增RDS MySQL版本，使用MySQL 8.0的驱动，支持OpenSSL 3.0，且兼容MySQL5.6、MySQL5.7版本。ElasticSearch数据源支持HTTPS协议的URL。更新说明 创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建...
配置Hologres输入组件
同步Hologres数据源的数据至其他数据源的场景中，您需要先配置Hologres输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置Hologres输入组件。前提条件 已创建Hologres数据源，如何创建，请参见 创建Hologres数据源。...
MySQL物理备份
前提条件 数据库为 Linux系统 的自建MySQL 8.0、5.7、5.6、5.5。说明 自建MySQL 5.7、5.6、5.5支持版本：Red Hat Enterprise Linux/CentOS/Oracle Linux 6、7、8。自建MySQL 8.0仅支持版本：Red Hat Enterprise Linux/CentOS/Oracle Linux ...
通过文件管理优化性能
为了提升查询性能，Delta Engine对数据的存储和布局进行了优化，目前支持两种布局算法：bin-packing和Z-Ordering。在本文中，我们会介绍如何使用这两种布局算法并给出使用案例。此外我们还介绍了Delta Engine的Data skipping功能，以及该...
SDK概述
v1.6.0 新增Spark Streaming SQL测试工具。Spark Streaming SQL适配Loghub数据源。新增DataHub数据源direct api实现。Loghub python接口支持direct api。修复Insert数据到tablestore失败的问题。v1.5.0 Spark Structured Streaming 支持...
升级数据库大版本
迁移数据的方法如下：云数据库MongoDB版（单节点架构）全量迁移至云数据库MongoDB版（所有架构）云数据库MongoDB版（副本集架构）迁移至云数据库MongoDB版（副本集架构或分片集群架构）自建数据库MongoDB版（分片集群架构）迁移至云数据库...
配置PolarDB输入组件
PolarDB输入组件用于读取PolarDB数据源的数据。同步PolarDB数据源的数据至其他数据源的场景中，您需要先配置PolarDB输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置PolarDB输入组件。前提条件 在开始执行操作前，...
配置Log Service输入组件
同步Log Service数据源的数据至其他数据源的场景中，您需要先配置Log Service输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置Log Service输入组件。在开始执行操作前，请确认您已完成以下操作：已创建Log Service...
配置Log Service输入组件
同步Log Service数据源的数据至其他数据源的场景中，您需要先配置Log Service输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置Log Service输入组件。在开始执行操作前，请确认您已完成以下操作：已创建Log Service...
配置PolarDB输入组件
PolarDB输入组件用于读取PolarDB数据源的数据。同步PolarDB数据源的数据至其他数据源的场景中，您需要先配置PolarDB输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置PolarDB输入组件。前提条件 在开始执行操作前，...
读取OSS数据
在成功创建了OSS外部表后，您可以访问和查询存储在OSS指定目录下的数据文件，实现高效的数据读取操作。背景信息 完成OSS外部表创建后，您可以根据需要选择如下方式之一对OSS外部表进行操作：（推荐）方式一：将OSS的开源格式数据导入...
配置MySQL输入组件
批量条数 每个并发SQL语句读取数据的条数。输入过滤 填写输入字段的过滤信息，例如 ds=${bizdate}。输入过滤 适用于以下两种场景：固定的某一部分数据。参数过滤。输出字段 输出字段区域展示了已选中表的所有字段。如果不需要将某些字段...
配置MySQL输入组件
批量条数 每个并发SQL语句读取数据的条数。输入过滤 填写输入字段的过滤信息，例如 ds=${bizdate}。输入过滤 适用于以下两种场景：固定的某一部分数据。参数过滤。输出字段 输出字段区域展示了已选中表的所有字段。如果不需要将某些字段...
配置TiDB输入组件
批量条数 每个并发SQL语句读取数据的条数。输入过滤 填写输入字段的过滤信息，例如ds=${bizdate}。输入过滤 适用于以下两种场景：固定的某一部分数据。参数过滤。输出字段 输出字段区域展示了已选中表的所有字段。如果不需要将某些字段输出...
配置KingbaseES输入组件
批量条数 每个并发SQL语句读取数据的条数。输入过滤 填写输入字段的过滤信息，例如ds=${bizdate}。输入过滤 适用于以下两种场景：固定的某一部分数据。参数过滤。输出字段 输出字段区域展示了已选中表的所有字段。如果不需要将某些字段输出...
配置TiDB输入组件
批量条数 每个并发SQL语句读取数据的条数。输入过滤 填写输入字段的过滤信息，例如ds=${bizdate}。输入过滤 适用于以下两种场景：固定的某一部分数据。参数过滤。输出字段 输出字段区域展示了已选中表的所有字段。如果不需要将某些字段输出...
配置OpenGauss输入组件
批量条数 每个并发SQL语句读取数据的条数。输入过滤 填写输入字段的过滤信息，例如ds=${bizdate}。输入过滤 适用于以下两种场景：固定的某一部分数据。参数过滤。输出字段 输出字段区域展示了已选中表的所有字段。如果不需要将某些字段输出...
配置StarRocks输入组件
批量条数 每个并发SQL语句读取数据的条数。输入过滤 填写输入字段的过滤信息，例如ds=${bizdate}。输入过滤 适用于以下两种场景：固定的某一部分数据。参数过滤。输出字段 输出字段区域展示了已选中表的所有字段。如果不需要将某些字段输出...
配置StarRocks输入组件
批量条数 每个并发SQL语句读取数据的条数。输入过滤 填写输入字段的过滤信息，例如ds=${bizdate}。输入过滤 适用于以下两种场景：固定的某一部分数据。参数过滤。输出字段 输出字段区域展示了已选中表的所有字段。如果不需要将某些字段输出...
配置Impala输入组件
批量条数 每个并发SQL语句读取数据的条数。输入过滤 填写输入字段的过滤信息，例如ds=${bizdate}。输入过滤 适用于以下两种场景：固定的某一部分数据。参数过滤。输出字段 输出字段区域展示了已选中表的所有字段。如果不需要将某些字段输出...
配置MongoDB输入组件
同步MongoDB数据源的数据至其他数据源的场景中，您需要先配置MongoDB输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置MongoDB输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建MongoDB数据源...
配置KingbaseES输入组件
批量条数 每个并发SQL语句读取数据的条数。输入过滤 填写输入字段的过滤信息，例如ds=${bizdate}。输入过滤 适用于以下两种场景：固定的某一部分数据。参数过滤。输出字段 输出字段区域展示了已选中表的所有字段。如果不需要将某些字段输出...
BatchGetRow
与执行大量的GetRow操作相比，使用BatchGetRow操作可以有效减少请求的响应时间，提高数据的读取速率。请求消息结构 message BatchGetRowRequest { repeated TableInBatchGetRowRequest tables=1;} 参数 类型 是否必填 描述 tables repeated...
配置GoldenDB输入组件
批量条数 每个并发SQL语句读取数据的条数。输入过滤 填写输入字段的过滤信息，例如ds=${bizdate}。输入过滤 适用于以下两种场景：固定的某一部分数据。参数过滤。输出字段 输出字段区域展示了已选中表的所有字段。如果不需要将某些字段输出...
配置OpenGauss输入组件
批量条数 每个并发SQL语句读取数据的条数。输入过滤 填写输入字段的过滤信息，例如ds=${bizdate}。输入过滤 适用于以下两种场景：固定的某一部分数据。参数过滤。输出字段 输出字段区域展示了已选中表的所有字段。如果不需要将某些字段输出...
配置Greenplum输入组件
Greenplum输入组件用于读取Greenplum数据源的数据。同步Greenplum数据源的数据至其他数据源的场景中，您需要先配置Greenplum输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置Greenplum输入组件。操作步骤 请参见 ...
配置Impala输入组件
批量条数 每个并发SQL语句读取数据的条数。输入过滤 填写输入字段的过滤信息，例如ds=${bizdate}。输入过滤 适用于以下两种场景：固定的某一部分数据。参数过滤。输出字段 输出字段区域展示了已选中表的所有字段。如果不需要将某些字段输出...
Query Profile介绍
CompressedBytesRead 读取压缩数据的大小。IOTime 累计I/O时间。BitmapIndexFilterRows Bitmap索引过滤的数据行数。BloomFilterFilterRows Bloomfilter过滤的数据行数。SegmentRuntimeZoneMapFilterRows Runtime Zone Map过滤的数据行数。...
过滤器
常见问题 如何选择二级索引和多元索引 相关文档 当某些应用需要使用不同属性作为查询条件来执行数据查询时，您可以通过将这些属性作为二级索引的主键列实现按照属性快速查询数据的需求。更多信息，请参见 二级索引简介。日常业务中有非主键...
配置ArgoDB输入组件
同步ArgoDB数据源的数据至其他数据源的场景中，您需要先配置ArgoDB输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置ArgoDB输入组件。使用限制 ArgoDB输入组件支持数据格式为orc、parquet、text、holodesk、rc、seq...
管理HBase输入组件
同步HBase数据源的数据至其他数据源的场景中，您需要先配置HBase输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置HBase输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建HBase数据源。具体...
PAI-TF数据IO方式介绍
权限名称（Action）权限说明 oss:PutObject 上传文件或文件夹对象 oss:GetObject 获取文件或文件夹对象 oss:ListObjects 查询文件列表信息 oss:DeleteObjects 删除对象 TensorFlow读取OSS数据的方法：低效的IO方式 本地执行TensorFlow代码...
- 产品推荐
- 这些文档可能帮助您