配置Greenplum输入组件
同步Greenplum数据源的数据至其他数据源的场景中，您需要先配置Greenplum输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置Greenplum输入组件。操作步骤 请参见 离线管道组件开发入口，进入离线管道脚本的开发页面...
配置Impala输入组件
同步Impala数据源的数据至其他数据源的场景中，您需要先配置Impala输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置Impala输入组件。前提条件 已创建Impala数据源，如何创建，请参见 创建Impala数据源 进行Impala...
在ASM安全策略中配置JWT认证
已部署入口网关并获取ASM网关地址。已开启Sidecar自动注入。已创建网关规则和虚拟服务，确保以下路径可以正常访问。具体操作，请参见 使用Istio资源实现版本流量路由 的步骤一到步骤三。http://${网关地址}/productpage http://${网关地址}...
在ASM安全策略中配置JWT认证
已部署入口网关并获取ASM网关地址。已开启Sidecar自动注入。已创建网关规则和虚拟服务，确保以下路径可以正常访问。具体操作，请参见 使用Istio资源实现版本流量路由 的步骤一到步骤三。http://${网关地址}/productpage http://${网关地址}...
配置GoldenDB输入组件
同步GoldenDB数据源的数据至其他数据源的场景中，您需要先配置GoldenDB输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置GoldenDB输入组件。前提条件 已创建GoldenDB数据源，如何创建，请参见 创建GoldenDB数据源。...
配置OpenGauss输入组件
同步OpenGauss数据源的数据至其他数据源的场景中，您需要先配置OpenGauss输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置OpenGauss输入组件。前提条件 已创建OpenGauss数据源，如何创建，请参见 创建OpenGauss...
配置KingbaseES输入组件
同步KingbaseES数据源的数据至其他数据源的场景中，您需要先配置KingbaseES输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置KingbaseES输入组件。前提条件 已创建KingbaseES数据源，如何创建，请参见 创建...
配置Greenplum输入组件
同步Greenplum数据源的数据至其他数据源的场景中，您需要先配置Greenplum输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置Greenplum输入组件。操作步骤 请参见 离线管道组件开发入口，进入离线管道脚本的开发页面...
配置Impala输入组件
同步Impala数据源的数据至其他数据源的场景中，您需要先配置Impala输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置Impala输入组件。前提条件 已创建Impala数据源，如何创建，请参见 创建Impala数据源 进行Impala...
配置ArgoDB输入组件
同步ArgoDB数据源的数据至其他数据源的场景中，您需要先配置ArgoDB输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置ArgoDB输入组件。使用限制 ArgoDB输入组件支持数据格式为orc、parquet、text、holodesk、rc、seq...
使用列索引加速ETL
PolarDB 支持ETL（Extract Transform Load）功能，开启该功能后，您可以在RW节点上使用列存索引，RW节点的SQL语句中的 SELECT 请求会发送至只读列存节点并使用列存索引功能进行加速查询，读取数据后，PolarDB 会通过内部网络将数据传回RW...
备份对数据库的影响
数据库备份DBS 对数据库执行备份时会造成一定影响，建议选择业务低峰期执行备份任务。本文介绍备份原理、影响及注意事项。备份原理与影响 类目 逻辑备份 物理备份 全量备份原理 对每张表数据进行切分，然后在数据库上执行SQL语句，多线程...
Query级别诊断结果
查询返回客户端的数据量较大 查询消耗的内存资源较大 查询生成的Stage个数较多 查询读取的数据量较大 查询返回客户端的数据量较大 问题 大量数据返回到客户端会导致慢查询，还会占用部分网络前端资源。说明 您可以在查询详情页面的 查询...
客户端FAQ
常见问题 Q：JDBC读取数据报错：java.lang.NumberFormatException:For input string:"xxxx"A：尝试按照普通数据类型解析密文数据，例如 getInt/getBigDecimal/getBoolean/getLong/getFloat/getDouble，由于密文不符合普通数据类型格式要求...
配置GoldenDB输入组件
同步GoldenDB数据源的数据至其他数据源的场景中，您需要先配置GoldenDB输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置GoldenDB输入组件。前提条件 已创建GoldenDB数据源，如何创建，请参见 创建Golden DB数据源...
Query Profile介绍
LocalDiskReadBytes 所有Connector Scan执行节点从本地缓存读取的压缩数据大小之和。该指标仅适用于存算分离实例。RemoteReadBytes 所有Connector Scan执行节点从OSS对象存储读取的压缩数据大小之和。该指标仅适用于存算分离实例。...
使用数据镜像保护尚未写入完整的数据
使用场景 创建数据镜像，可确保在数据大批量写入更新期间，所有读请求从数据镜像获取数据。从而确保数据在完整写入前不会被应用程序读取到。数据镜像的读取性能与先前非镜像数据的读取性能完全保持一致。说明 数据更新完成后，可将数据正式...
SQL
PyODPS默认不限制从Instance读取的数据规模，但Project Owner可能在MaxCompute Project上增加保护设置，以限制对Instance结果的读取，此时只能使用受限读取模式读取数据，在此模式下可读取的行数受到Project配置限制，通常为10000行。...
API概览
本产品（数据库自治服务/2020-01-16）的OpenAPI采用 RPC 签名风格，签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK，开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足使用需求，...
产品架构
DTS使用增量数据读取模块来获取全量数据迁移过程中发生的数据更新。当全量数据迁移开始时，增量数据读取模块将被激活。在全量数据迁移阶段，增量数据会被解析、重新格式化并存储在本地DTS服务器上。增量数据迁移：当全量数据迁移完成后，...
读取优化
离线计算访问Hbase建议禁止缓存 当离线访问HBase时，往往就是一次性的读取，此时读取的数据没有必要存放在blockcache中，建议在读取时禁止缓存。scan.setBlockCache(false)服务端优化 请求是否均衡 读取的压力是否都在一台或者几台之中，在...
计算引擎版本说明
为提升用户体验，云原生多模数据库 Lindorm 会不定期地发布版本，用于丰富云产品功能或修复已知缺陷。您可以参阅本文了解Lindorm计算引擎的版本更新说明。查看计算引擎版本 进入SparkUI界面。如何进入，请参见 进入SparkUI界面。单击 ...
读取数据
表格存储 提供了GetRow接口用于读取单行数据以及BatchGetRow、GetRange等接口用于读取多行数据。如果需要了解表格存储各场景的应用案例，请参见 快速玩转Tablestore入门与实战。查询方式 表格存储 提供的数据读取接口包括GetRow、...
读取数据
表格存储 提供了GetRow接口用于读取单行数据以及BatchGetRow、GetRange等接口用于读取多行数据。如果需要了解表格存储各场景的应用案例，请参见 快速玩转Tablestore入门与实战。查询方式 表格存储 提供的数据读取接口包括GetRow、...
数据源读取时间超时的优化思路
DataV数据可视化产品主要用于动态、实时数据展示场景，需要对数据高频实时查询，对数据访问性能有一定要求。如果您的数据源访问经常超时，则需要从整体数据架构上做一定的优化。本文介绍导致DataV读取数据源超时的常见原因和解决方法。使用...
配置SAP HANA输入组件
同步SAP HANA数据源的数据至其他数据源的场景中，您需要先配置SAP HANA输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置SAP HANA输入组件。操作步骤 请参见 通过离线单条管道配置集成任务，进入离线管道脚本的开发...
配置PostgreSQL输入组件
同步PostgreSQL数据源的数据至其他数据源的场景中，您需要先配置PostgreSQL输入组件读取的源数据源，再配置数据同步的目标数据源。本文为您介绍如何配置PostgreSQL输入组件。在开始执行操作前，请确认您已完成以下操作：已创建PostgreSQL...
配置Salesforce输入组件
配置Salesforce输入组件后，可以读取Salesforce数据源中的数据至Dataphin，进行数据集成与数据开发。本文为您介绍如何配置Salesforce输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建Salesforce数据源。具体操作，请...
配置Salesforce输入组件
配置Salesforce输入组件后，可以读取Salesforce数据源中的数据至Dataphin，进行数据集成与数据开发。本文为您介绍如何配置Salesforce输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建Salesforce数据源。具体操作，请...
数据源读取时间超时的优化思路
DataV数据可视化产品主要用于动态、实时数据展示场景，需要对数据高频实时查询，对数据访问性能有一定要求。如果您的数据源访问经常超时，则需要从整体数据架构上做一定的优化。本文介绍导致DataV读取数据源超时的常见原因和解决方法。使用...
配置PostgreSQL输入组件
同步PostgreSQL数据源的数据至其他数据源的场景中，您需要先配置PostgreSQL输入组件读取的源数据源，再配置数据同步的目标数据源。本文为您介绍如何配置PostgreSQL输入组件。在开始执行操作前，请确认您已完成以下操作：已创建PostgreSQL...
配置SAP HANA输入组件
同步SAP HANA数据源的数据至其他数据源的场景中，您需要先配置SAP HANA输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置SAP HANA输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建SAP HANA...
读取数据
表格存储 提供了GetRow接口用于读取单行数据以及BatchGetRow、GetRange等接口用于读取多行数据。如果需要了解表格存储各场景的应用案例，请参见 快速玩转Tablestore入门与实战。查询方式 表格存储 提供的数据读取接口包括GetRow、...
配置AnalyticDB for MySQL 3.0输入组件
同步AnalyticDB for MySQL 3.0数据源的数据至其他数据源的场景中，您需要先配置AnalyticDB for MySQL 3.0输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置AnalyticDB for MySQL 3.0输入组件。操作步骤 请参见 通过...
配置AnalyticDB for MySQL 3.0输入组件
同步AnalyticDB for MySQL 3.0数据源的数据至其他数据源的场景中，您需要先配置AnalyticDB for MySQL 3.0输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置AnalyticDB for MySQL 3.0输入组件。在开始执行操作前，请...
配置DataHub输入组件
配置DataHub输入组件后，可以将DataHub数据源中的数据读取至大数据平台对接的存储系统内，并进行数据整合和二次加工。本文为您介绍如何配置DataHub输入组件。前提条件 已创建离线单条管道，详情请参见 通过单条管道创建集成任务。操作步骤 ...
配置DataHub输入组件
配置DataHub输入组件后，可以将DataHub数据源中的数据读取至大数据平台对接的存储系统内，并进行数据整合和二次加工。本文为您介绍如何配置DataHub输入组件。前提条件 已创建离线单条管道，详情请参见 通过单条管道创建集成任务。操作步骤 ...
RestAPI Reader最佳实践
数据集成RestAPI Reader插件提供了读取RESTful接口数据的能力，通过配置HTTP请求地址，可获取RestAPI类型的数据源数据（例如获取时间范围内的数据、获取分页数据、循环请求参数获取数据等），并转换为数据集成支持的数据类型，传递给下游...
XML函数
本节中描述的函数以及类函数的表达式都在类型 xml 的值上操作。用于在值和类型 xml 之间转换的类函数的表达式 xmlparse 和 xmlserialize 记录在这里，而不是在本节中。使用大部分这些函数要求本数据库使用了 configure-with-libxml 进行...
使用二级索引读取数据
当返回的属性列在索引表中时，您可以直接读取索引表获取数据，否则请自行反查数据表获取数据。前提条件 已初始化Client。具体操作，请参见 初始化OTSClient。已创建二级索引。具体操作，请参见 创建二级索引。注意事项 索引表只能用于读取...
- 产品推荐
- 这些文档可能帮助您