配置KingbaseES输入组件
批量条数 每个并发SQL语句读取数据的条数。输入过滤 填写输入字段的过滤信息，例如ds=${bizdate}。输入过滤 适用于以下两种场景：固定的某一部分数据。参数过滤。输出字段 输出字段区域展示了已选中表的所有字段。如果不需要将某些字段输出...
配置TiDB输入组件
批量条数 每个并发SQL语句读取数据的条数。输入过滤 填写输入字段的过滤信息，例如ds=${bizdate}。输入过滤 适用于以下两种场景：固定的某一部分数据。参数过滤。输出字段 输出字段区域展示了已选中表的所有字段。如果不需要将某些字段输出...
配置OpenGauss输入组件
批量条数 每个并发SQL语句读取数据的条数。输入过滤 填写输入字段的过滤信息，例如ds=${bizdate}。输入过滤 适用于以下两种场景：固定的某一部分数据。参数过滤。输出字段 输出字段区域展示了已选中表的所有字段。如果不需要将某些字段输出...
配置TiDB输入组件
批量条数 每个并发SQL语句读取数据的条数。输入过滤 填写输入字段的过滤信息，例如ds=${bizdate}。输入过滤 适用于以下两种场景：固定的某一部分数据。参数过滤。输出字段 输出字段区域展示了已选中表的所有字段。如果不需要将某些字段输出...
配置StarRocks输入组件
批量条数 每个并发SQL语句读取数据的条数。输入过滤 填写输入字段的过滤信息，例如ds=${bizdate}。输入过滤 适用于以下两种场景：固定的某一部分数据。参数过滤。输出字段 输出字段区域展示了已选中表的所有字段。如果不需要将某些字段输出...
透明数据加密概述
RDS PostgreSQL支持透明数据加密（Transparent Data Encryption，简称TDE），对数据文件进行实时加密和解密，保护用户数据...数据库启动时会从KMS获取KEK，从而解密DEK，解密后的DEK存放在内存中，用于写入数据或读取数据时进行加密或解密。
配置StarRocks输入组件
批量条数 每个并发SQL语句读取数据的条数。输入过滤 填写输入字段的过滤信息，例如ds=${bizdate}。输入过滤 适用于以下两种场景：固定的某一部分数据。参数过滤。输出字段 输出字段区域展示了已选中表的所有字段。如果不需要将某些字段输出...
配置Salesforce输入组件
Object 选择Salesforce实例内需要读取数据的Object。输入过滤 填写输入字段的过滤信息，例如 ds=${bizdate}。输入过滤 适用于以下两种场景：固定的某一部分数据。参数过滤。说明 支持的判断运算符包括=、!IN、NOT IN等。输出字段 ...
配置Salesforce输入组件
Object 选择Salesforce实例内需要读取数据的Object。输入过滤 填写输入字段的过滤信息，例如 ds=${bizdate}。输入过滤 适用于以下两种场景：固定的某一部分数据。参数过滤。说明 支持的判断运算符包括=、!IN、NOT IN等。输出字段 ...
配置Impala输入组件
批量条数 每个并发SQL语句读取数据的条数。输入过滤 填写输入字段的过滤信息，例如ds=${bizdate}。输入过滤 适用于以下两种场景：固定的某一部分数据。参数过滤。输出字段 输出字段区域展示了已选中表的所有字段。如果不需要将某些字段输出...
工作组成员管理
角色 包括工作组管理员、工作组开发者、工作组分析员、元数据读取、数据读取、数据变更。其中，元数据读取、数据读取和数据变更是专业模式下的角色。工作组管理员：工作组的管理者，拥有工作组内的所有权限。工作组开发者：拥有工作组内的...
工作组成员管理
角色 包括工作组管理员、工作组开发者、工作组分析员、元数据读取、数据读取、数据变更。其中，元数据读取、数据读取和数据变更是专业模式下的角色。工作组管理员：工作组的管理者，拥有工作组内的所有权限。工作组开发者：拥有工作组内的...
配置GoldenDB输入组件
批量条数 每个并发SQL语句读取数据的条数。输入过滤 填写输入字段的过滤信息，例如ds=${bizdate}。输入过滤 适用于以下两种场景：固定的某一部分数据。参数过滤。输出字段 输出字段区域展示了已选中表的所有字段。如果不需要将某些字段输出...
通过实时计算订阅数据
订阅DataHub数据进行实时计算，插入到RDS实例的目标表中。...注意 选择的读取数据时间必须在数据同步到DataHub之前，否则可能造成数据丢失，影响查询结果。icmsDocProps={'productMethod':'created','language':'zh-CN',};
配置KingbaseES输入组件
批量条数 每个并发SQL语句读取数据的条数。输入过滤 填写输入字段的过滤信息，例如ds=${bizdate}。输入过滤 适用于以下两种场景：固定的某一部分数据。参数过滤。输出字段 输出字段区域展示了已选中表的所有字段。如果不需要将某些字段输出...
配置OpenGauss输入组件
批量条数 每个并发SQL语句读取数据的条数。输入过滤 填写输入字段的过滤信息，例如ds=${bizdate}。输入过滤 适用于以下两种场景：固定的某一部分数据。参数过滤。输出字段 输出字段区域展示了已选中表的所有字段。如果不需要将某些字段输出...
配置Impala输入组件
批量条数 每个并发SQL语句读取数据的条数。输入过滤 填写输入字段的过滤信息，例如ds=${bizdate}。输入过滤 适用于以下两种场景：固定的某一部分数据。参数过滤。输出字段 输出字段区域展示了已选中表的所有字段。如果不需要将某些字段输出...
配置SAP HANA输入组件
批量条数 每个并发SQL语句读取数据的条数。默认的批量条数为1024。输入过滤 填写输入字段的过滤信息，例如 ds=${bizdate}。输入过滤 适用于以下两种场景：固定的某一部分数据。参数过滤。输出字段 输出字段区域展示了已选中表的所有字段。...
配置PostgreSQL输入组件
批量条数 每个并发SQL语句读取数据的条数。输入过滤 填写输入字段的过滤信息，例如 ds=${bizdate}。输入过滤 适用于以下两种场景：固定的某一部分数据。参数过滤。输出字段 输出字段区域展示了已选中表的所有字段。如果不需要将某些字段...
概述
流程图说明：步骤 说明 1 用户的 APP（业务系统）向主集群的数据库节点（运行 OBServer 进程的服务器）写入/读取数据。2 主集群（生产集群）的数据写入生成 REDO 日志。3 主集群自动向备集群通过日志异步复制的方式传输 REDO 日志。4 备...
配置GoldenDB输入组件
批量条数 每个并发SQL语句读取数据的条数。输入过滤 填写输入字段的过滤信息，例如ds=${bizdate}。输入过滤 适用于以下两种场景：固定的某一部分数据。参数过滤。输出字段 输出字段区域展示了已选中表的所有字段。如果不需要将某些字段输出...
文本文件
demo-hangzhou文件路径为demo/The_Sorrows_of_Young_Werther.txt的文件/从oss地址读取文本文档 val dataRDD=sc.textFile("oss:/databricks-demo-hangzhou/demo/The_Sorrows_of_Young_Werther.txt"实例 case1:使用文本的方式读取数据 ...
配置PostgreSQL输入组件
批量条数 每个并发SQL语句读取数据的条数。输入过滤 填写输入字段的过滤信息，例如 ds=${bizdate}。输入过滤 适用于以下两种场景：固定的某一部分数据。参数过滤。输出字段 输出字段区域展示了已选中表的所有字段。如果不需要将某些字段...
22.8版本新特性概览
远程文件系统的本地缓存 当ClickHouse从本地磁盘文件系统读取数据时是非常快的，例如阿里云ECS本地盘或者云盘上的数据被OSS缓存在Page Cache中再进行读取。但是，如果ClickHouse从远程文件系统（例如OSS）读取数据，则系统不会感知到这些...
流表
本文介绍流表的使用方法及示例。概述 流表：流表用于存储随时间发生的事件，仅支持插入数据，...指定历史时间读取数据 SELECT/*+OPTIONS('scan.startup.mode'='timestamp',scan.startup.timestamp-millis'='1647360000000')*/*FROM MyStream;
读取优化
Short-Circuit Local Read（已经默认开启）当前HDFS读取数据需要经过DataNode，开启Short-Circuit Local Read后，客户端可以直接读取本地数据。Hedged Read（已经默认开启）优先会通过Short-Circuit Local Read功能尝试本地读。但是在某些...
SmartData数据读取异常修复公告
历史版本的SmartData（3.0.x～3.5.x）服务存在已知缺陷可能会造成缓存数据出现损坏，导致读取数据内容发生异常。本文为您介绍缺陷影响，缺陷方案以及缺陷修复流程。缺陷影响 缺陷影响的组件：打开SmartData数据缓存功能的所有组件。重要 ...
配置SAP HANA输入组件
批量条数 每个并发SQL语句读取数据的条数。默认的批量条数为1024。输入过滤 填写输入字段的过滤信息，例如 ds=${bizdate}。输入过滤适用于以下两种场景：固定的某一部分数据。参数过滤。输出字段 输出字段区域展示了已选中表的所有字段。...
RDS(MySQL)
val properties=new Properties()properties.setProperty("user",dbUser)properties.setProperty("password",dbPwd)/读取数据 val rds_data=spark.read.option("driver","com.mysql.cj.jdbc.Driver").jdbc(s"jdbc:mysql:/$dbUrl:$dbPort/$...
CreateAccount-创建账号
取值如下：0：允许进行读取、写入和更改设置的查询 1：仅允许进行读取数据的查询。2：允许进行读取数据和更改设置的查询。0 DdlAuthority boolean 否 是否授予数据库账号 DDL 权限，取值说明：true：允许 DDL。false：禁止 DDL。true ...
Query级别诊断结果
建议 先找到读取数据量较大的Stage以及相关的表扫描算子（TableScan）。您可以在 AnalyticDB MySQL版 SQL诊断的Stage层或算子层执行计划中的 统计信息 区域查看对应Stage 扫描行数、扫描量，或TableScan算子的 输入行数 和 输入大小 来判断...
EMR Hive数据整库离线同步至MaxCompute
基于Hive JDBC读取数据：Hive Reader插件通过Hive JDBC客户端连接HiveServier2服务读取数据。此方式支持通过where条件过滤数据，并直接通过SQL读取数据。说明 HDFS方式效率更高，JDBC方式会生成MapReduce程序，同步效率较低。注意HDFS方式...
EMR Hive数据整库离线同步至MaxCompute
基于Hive JDBC读取数据：Hive Reader插件通过Hive JDBC客户端连接HiveServier2服务读取数据。此方式支持通过where条件过滤数据，并直接通过SQL读取数据。说明 HDFS方式效率更高，JDBC方式会生成MapReduce程序，同步效率较低。注意HDFS方式...
设置列索引的排序键
读取数据时只考虑相关和可能相关的列数据块。列数据块有不同次序的组织方式，进而会产生不同组合的列数据块集合，Pruner也会有不同的过滤效果，因此，用户可以根据查询条件来修改列数据块的排列顺序，以提高查询性能。如上图所示，当执行...
创建数据流
数据库 输入并选择数据流读取数据的源数据库。（可选）若数据库为非安全协同模式，还需要在弹出的 登录实例 对话框中，输入 数据库账号 和 数据库密码。表 选择数据流读取数据的源表。以过滤源表数据为例，配置数据处理节点。说明 除 数据...
概述
用户在创建数据同步时，DataHub会自动为该同步任务绑定SubscriptionId用于记录从DataHub读取数据的读取点位（非同步点位），该SubscriptionId请用户不要操作。目前只有DataHub topic的Owner/Creator账号才具备创建connector（数据同步）的...
配置Kudu输入组件
批量字节数 批量读取数据的字节数，默认1MB。需大于0（小数点保留1位）。输入过滤 输入过滤条件支持=、>、<、>=、、is not null、is null，每个表达式需带双引号"。每个表达式中需用空格隔开，比如："id>10","name="dataphin。连接超时时间...
权限列表
工作组成员管理角色包括：工作组管理员、工作组开发者、工作组分析员、元数据读取、数据读取、数据变更。全局成员管理配置角色包括：租户管理员、租户访客、租户数据资产管理员、租户运维人员、租户一般用户。对号（√）表示支持，叉号（X...
权限列表
工作组成员管理角色包括：工作组管理员、工作组开发者、工作组分析员、元数据读取、数据读取、数据变更。全局成员管理配置角色包括：租户管理员、租户访客、租户数据资产管理员、租户运维人员、租户一般用户。对号（√）表示支持，叉号（X...
数据传输与迁移概述
场景从MaxCompute读数据 批量数据读取（数据通道）场景特征。周期调度任务（天、小时级别调用）。对数据延迟不敏感（只要在调度周期执行完成即可满足需求）。典型场景。类型 典型场景 数仓数据批量导出 数据集成-批量数据导出。Flink读取...
- 产品推荐
- 这些文档可能帮助您