客户端FAQ

常见问题 Q:JDBC读取数据报错:java.lang.NumberFormatException:For input string:"xxxx"A:尝试按照普通数据类型解析密文数据,例如 getInt/getBigDecimal/getBoolean/getLong/getFloat/getDouble,由于密文不符合普通数据类型格式要求...

BatchGetRow

Java SDK:批量读取数据 Go SDK:批量读取数据 Python SDK:批量读取数据 Node.js SDK:批量读取数据.NET SDK:批量读取数据 PHP SDK:批量读取数据 服务能力单元消耗 如果本次操作整体失败,则不消耗任何服务能力单元。如果请求超时,结果...

查询诊断

您也可以根据需求选择按照占用内存、磁盘读取数据量、磁盘读取数据耗时、网络传输数据量、网络传输数据耗时对算子排序以及计算整体比例。算子统计信息介绍如下:名称 说明 算子名称 算子名称与编号,在计划树中唯一。类型ID 算子类型编号。...

备份对数据库的影响

备份原理与影响 类目 逻辑备份 物理备份 全量备份原理 对每张表数据进行切分,然后在数据库上执行SQL语句,多线程并行读取数据。在数据库所在服务器上安装DBS备份网关,然后通过备份网关将数据库文件进行备份(拷贝)。增量备份原理 支持...

数据

用途 读数据表 算子用于从数据源中读取数据,作为下游节点输入数据的来源。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 使用说明 选择计算资源 选择需要读取的数据源,支持的数据源类型...

配置Oracle输入组件

表 选择数据同步的来源表:如果 来源表量 选择了 单表,在下拉列表中选择读取数据的表。如果 来源表 选择了 多表,则按照下图操作指引,添加读取数据的多个表。在①处配置筛选多表的表达式,连续多个表的格式如 table[A-Z]、table_[01-05]...

数据读取时间超时的优化思路

本文介绍导致DataV读取数据源超时的常见原因和解决方法。使用SQL查询的业务数据表数量太大,查询超时 针对查询条件所使用的字段添加索引,减少扫描行数。在数据库中增加定时任务,定时计算所需要的业务指标并更新结果表。DataV组件直接查询...

数据读取时间超时的优化思路

本文介绍导致DataV读取数据源超时的常见原因和解决方法。使用SQL查询的业务数据表数量太大,查询超时 针对查询条件所使用的字段添加索引,减少扫描行数。在数据库中增加定时任务,定时计算所需要的业务指标并更新结果表。DataV组件直接查询...

配置ClickHouse输入组件

表 选择数据同步的来源表:如果 来源表量 选择了 单表,在下拉列表中选择读取数据的表。如果 来源表 选择了 多表,则按照下图操作指引,添加读取数据的多个表。在①处配置筛选多表的表达式,连续多个表的格式如 table[A-Z]、table_[01-05]...

查看并管理实时任务

指定来源表读取数据时点:设置指定开始时间会让所有支持startTime的来源表均从该时刻开始读取数据。重要 目前支持Log Service CDC、Kafka CDC、MySQL CDC、MongoDB CDC、OceanBase CDC指定来源表读取数据时点。SQL作业中的代码参数配置将...

GetRow

time_range TimeRange 否,和max_versions必须至少存在一个 读取数据的版本时间戳范围。时间戳的单位为毫秒,取值最小值为0,最大值为INT64.MAX。如果要查询一个范围,则指定start_time和end_time;如果要查询一个特定时间戳,则指定...

配置PolarDB输入组件

表 选择数据同步的来源表:如果 来源表量 选择了 单表,在下拉列表中选择读取数据的表。如果 来源表 选择了 多表,则按照下图操作指引,添加需要读取数据的多个表。在①处配置筛选多表的表达式,连续多个表的格式如 table[A-Z]、table_[01-...

配置Vertica输入组件

读取数据时,根据配置的切分键字段进行数据分片,实现并发读取,可以提升数据同步效率。批量条数 每个并发SQL语句读取数据的条数。输入过滤 配置抽取数据的筛选条件,配置说明如下:配置固定值,抽取对应的数据,例如 ds=20210101。配置...

Query Profile介绍

LocalDiskReadIOTime 从本地缓存读取数据产生的I/O耗时。该指标仅适用于存算分离实例。RemoteReadIOTime 从远端OSS读取数据产生的I/O耗时。该指标仅适用于存算分离实例。IoSeekTime IO Seek寻址过程产生的总耗时。该指标仅适用于存算分离...

配置OceanBase输入组件

读取数据时,根据配置的切分键字段进行数据分片,实现并发读取,可以提升数据同步效率。批量条数 配置数据同步时,每条并发SQL语句读取数据的条数,默认的批量条数为1024。输入过滤 配置抽取数据的筛选条件,配置说明如下:配置固定值:...

如何选择备份方式

全量备份原理 对每张表数据进行切分,然后在数据库上运行SQL语句,多线程并行读取数据。在数据库所在服务器上安装DBS备份网关,然后通过备份网关将数据库文件进行备份(拷贝)。更多详情,请参见 添加备份网关。增量备份原理 支持实时捕获...

OCS与数据库结合使用示例

运行结果如下:从MySQL中查询数据.Key=non-beijing,Value=7 从OCS中读取数据.Key=non-beijing,Value=7 从OCS中读取数据.Key=non-beijing,Value=7 从OCS中读取数据.Key=non-beijing,Value=7 …… …… 从结果可以看出,程序第1次是从MySQL...

配置AnalyticDB for MySQL 3.0输入组件

表 选择数据同步的来源表:如果 来源表量 选择了 单表,在下拉列表中选择读取数据的表。如果 来源表 选择了 多表,则按照下图操作指引,添加读取数据的多个表。在①处配置筛选多表的表达式,连续多个表的格式如 table[A-Z]、table_[01-05]...

创建MySQL表并读取数据

本文介绍如何在DLA中创建MySQL表并读取数据。登录 DLA控制台。单击左侧导航栏的 SQL访问点,然后单击 登录DMS,在DLA中创建如下表所示的MySQL表。CREATE EXTERNAL TABLE hello_mysql_vpc_rds.tbl_person(id int,name varchar(1023),age int...

逻辑备份、物理备份与快照

数据库备份DBS 支持逻辑备份与物理备份,详细说明如下:区别项 逻辑备份 物理备份 全量备份 对每张表数据进行切分,然后在数据库上运行SQL语句,多线程并行读取数据。在数据库所在服务器上安装DBS备份网关,然后通过备份网关将数据库文件...

列存索引配置参数说明

loose_etl_from_imci_compress 从只读列存节点读取数据时,是否需要压缩文件。取值如下:OFF(默认):从只读列存节点读取数据时,不压缩文件。ON:从只读列存节点读取数据时,压缩文件。loose_imci_default_pack_shift 设置列存索引的行组...

背景信息以及准备工作

背景信息 Data Lake Analytics(简称DLA)作为云上数据处理的枢纽,支持通过标准JDBC对RDS、Table Store、OSS中的数据进行查询和分析。您还可以在DLA中创建 云数据库 Redis 版(简称Redis...实施步骤 创建Redis Schema 创建Redis表并读取数据

从自建ClickHouse向企业版迁移

您也可以选择推送数据,因为这里只使用了只读用户,所以仅展示读取数据的方式。操作概述 在云数据库ClickHouse企业版之间迁移的流程如下:确定一个云数据库ClickHouse企业版集群作为源集群,另一个作为目标集群。在源集群上添加一个只读...

通过Logstash导入数仓版

reset_beginning:指定Logstash启动后从哪个位置开始读取数据,默认是结束位置,即Logstash进程会从上次读取结束时的偏移量开始继续读取数据;如果之前没有消费过,则从头读取数据。如果您要导入原数据,需将 reset_beginning 值改为 true...

配置FTP输入组件

数据内容起始行 设置输入组件读取数据的起始行。默认为1,从第一行开始为数据内容。若需忽略前N行,则将数据内容起始行设置为N+1。切分方式 Text支持 分隔符切分 和 字段长度切分,CSV支持 分隔符切分。分隔符切分:将会根据 字段分隔符 与...

数据导入概览

④ 图数据库GDB加载程序从满足RAM角色的Bucket中读取数据并将数据加载至图数据GDB实例。使用DataWorks数据集成同步数据到GDB DataWorks 是阿里云上的一站式大数据智能云研发平台,其中数据集成服务支持导出数据到GDB,您也可以使用平台完成...

配置SAP Table输入组件

批量条数 批量读取数据的条数,可根据数据库性能以及数据量修改。输出字段 输出字段区域展示了已选中表的所有字段。如果不需要将某些字段输出至下游组件,则您可以删除对应的字段:如果需要删除少量的字段,则可以单击 操作 列下的 图标,...

日志消费与查询区别

区别 对比项目 日志查询 日志消费 查找关键词 支持 不支持 读取少量数据 快 快 读取全量数据 慢(100条日志100ms,不建议通过该方式读取数据。快(1 MB日志10ms,推荐方式。读取是否区分日志主题 区分 不区分,只以Shard作为标识。读取是否...

配置MySQL输入组件

批量条数 每个并发SQL语句读取数据的条数。输入过滤 填写输入字段的过滤信息,例如 ds=${bizdate}。输入过滤 适用于以下两种场景:固定的某一部分数据。参数过滤。输出字段 输出字段区域展示了已选中表的所有字段。如果不需要将某些字段...

离线同步能力说明

数据集成的离线同步功能为您提供数据读取(Reader)和写入插件(Writer),方便您通过定义来源与去向数据源,并结合DataWorks调度参数使用,将源端数据库中全量或增量数据的同步至目标数据库中。本文为您介绍离线同步的相关能力。使用限制 ...

配置KingbaseES输入组件

批量条数 每个并发SQL语句读取数据的条数。输入过滤 填写输入字段的过滤信息,例如ds=${bizdate}。输入过滤 适用于以下两种场景:固定的某一部分数据。参数过滤。输出字段 输出字段区域展示了已选中表的所有字段。如果不需要将某些字段输出...

配置TiDB输入组件

批量条数 每个并发SQL语句读取数据的条数。输入过滤 填写输入字段的过滤信息,例如ds=${bizdate}。输入过滤 适用于以下两种场景:固定的某一部分数据。参数过滤。输出字段 输出字段区域展示了已选中表的所有字段。如果不需要将某些字段输出...

配置OpenGauss输入组件

批量条数 每个并发SQL语句读取数据的条数。输入过滤 填写输入字段的过滤信息,例如ds=${bizdate}。输入过滤 适用于以下两种场景:固定的某一部分数据。参数过滤。输出字段 输出字段区域展示了已选中表的所有字段。如果不需要将某些字段输出...

配置StarRocks输入组件

批量条数 每个并发SQL语句读取数据的条数。输入过滤 填写输入字段的过滤信息,例如ds=${bizdate}。输入过滤 适用于以下两种场景:固定的某一部分数据。参数过滤。输出字段 输出字段区域展示了已选中表的所有字段。如果不需要将某些字段输出...

透明数据加密概述

RDS PostgreSQL支持透明数据加密(Transparent Data Encryption,简称TDE),对数据文件进行实时加密和解密,保护用户数据...数据库启动时会从KMS获取KEK,从而解密DEK,解密后的DEK存放在内存中,用于写入数据或读取数据时进行加密或解密。

配置Salesforce输入组件

Object 选择Salesforce实例内需要读取数据的Object。输入过滤 填写输入字段的过滤信息,例如 ds=${bizdate}。输入过滤 适用于以下两种场景:固定的某一部分数据。参数过滤。说明 支持的判断运算符包括=、!IN、NOT IN等。输出字段 ...

工作组成员管理

角色 包括工作组管理员、工作组开发者、工作组分析员、元数据读取数据读取数据变更。其中,元数据读取数据读取和数据变更是专业模式下的角色。工作组管理员:工作组的管理者,拥有工作组内的所有权限。工作组开发者:拥有工作组内的...

工作组成员管理

角色 包括工作组管理员、工作组开发者、工作组分析员、元数据读取数据读取数据变更。其中,元数据读取数据读取和数据变更是专业模式下的角色。工作组管理员:工作组的管理者,拥有工作组内的所有权限。工作组开发者:拥有工作组内的...

通过实时计算订阅数据

订阅DataHub数据进行实时计算,插入到RDS实例的目标表中。...注意 选择的读取数据时间必须在数据同步到DataHub之前,否则可能造成数据丢失,影响查询结果。icmsDocProps={'productMethod':'created','language':'zh-CN',};

配置Impala输入组件

批量条数 每个并发SQL语句读取数据的条数。输入过滤 填写输入字段的过滤信息,例如ds=${bizdate}。输入过滤 适用于以下两种场景:固定的某一部分数据。参数过滤。输出字段 输出字段区域展示了已选中表的所有字段。如果不需要将某些字段输出...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
域名 云数据库 RDS 数据库备份 云数据库 Redis 版 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用