配置AnalyticDB for MySQL 3.0输入组件
同步AnalyticDB for MySQL 3.0数据源的数据至其他数据源的场景中，您需要先配置AnalyticDB for MySQL 3.0输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置AnalyticDB for MySQL 3.0输入组件。在开始执行操作前，请...
使用Kafka（离线与实时）
FLATTEN：消息格式为JSON数据类型的字符串，JSON中的Key和Value会被解析，写入到对应的MaxCompute表中，其中JSON数据中的Key和需要与MaxCompute的表列名对应。关于不同格式消息导入的案例，详情请参见 使用示例。mode 否 消息同步到...
步骤三：创建实时计算表
本文为实时研发基本流程的创建实时计算表步骤，在准备工作中，订单系统MySQL中的oms_order包含了订单的信息，实时任务就需要从这张表中实时的抽取增量数据来计算GMV。现在我们需要创建一个订单表对应的实时元表，可以从订单表中读取增量...
步骤三：创建实时计算表
本文为实时研发基本流程的创建实时计算表步骤，在准备工作中，订单系统MySQL中的oms_order包含了订单的信息，实时任务就需要从这张表中实时的抽取增量数据来计算GMV。现在我们需要创建一个订单表对应的实时元表，可以从订单表中读取增量...
数据导入方式介绍
为满足多样化的数据导入需求，云原生数据仓库AnalyticDB MySQL版 提供了多种数据导入方式，包括：通过外表导入数据、使用DataWorks导入数据和利用JDBC通过程序导入数据等。本文介绍各导入方式的特性及适用场景，帮助您选择正确的数据导入...
如何对JSON类型进行高效分析
在处理JSON数据时，为了提高查询性能，数仓往往在ETL任务中预先解析JSON数据且按需计算出对应值，然后作为表的单独一列插入到表中，即将JSON数据一些属性按需处理后构成大宽表。查询时不再需要读取和解析整个JSON列数据，直接读取对应普通...
如何选择备份方式
从数据库磁盘中读取数据，对数据库IO性能有一定影响。通常情况下，物理备份与恢复的速度快于逻辑备份及其恢复。说明 支持创建DBS沙箱，让您的备份数据快速可用。更多信息，请参见 DBS沙箱功能概览。数据库规模推荐范围 MB~百GB级别。TB级别...
字符串函数
当您需要对存储在表中的字符串数据进行截取、拼接、转化、比较、搜索等操作，您可以使用MaxCompute支持的字符串函数对指定字符串进行灵活处理。本文为您介绍MaxCompute支持的字符串函数的命令格式、参数说明及示例。MaxCompute SQL支持的...
逻辑备份、物理备份与快照
从数据库磁盘中读取数据，对数据库IO性能有一定影响。通常情况下，物理备份与恢复的速度快于逻辑备份及其恢复。说明 支持创建DBS沙箱，让您的备份数据快速可用。更多信息，请参见 DBS沙箱功能概览。数据库规模推荐范围 MB~百GB级别。TB级别...
CREATE TABLE
例如，在SaaS类应用中，用户通常只访问自己的数据，用户ID可以作为聚集索引，保证同一用户ID的数据连续存储在相同或相邻的数据块中，数据读取更快。基本使用：每个表中只能有一个聚集索引。聚集索引可以基于单个列创建（例如 CLUSTERED KEY...
使用二级索引读取数据
表格存储 提供了单行读取和范围读取的查询方式用于读取索引表中数据。当返回的属性列在索引表中时，您可以直接读取索引表获取数据，否则请自行反查数据表获取数据。前提条件 已初始化Client。具体操作，请参见 初始化OTSClient。已创建二级...
JSON索引
为降低处理半结构化数据的难度，提升查询效率，AnalyticDB for MySQL 提供了半结构化数据检索功能，即JSON索引。本文主要介绍如何创建JSON索引。JSON索引介绍 AnalyticDB for MySQL 支持创建...相关文档 如何检索JSON数据，请参见 JSON函数。
数据库
数据库基本信息 pg_stat_database pg_stat_database 视图将显示集群中每一个数据库中的每一行数据库范围的统计信息。相关参数信息如下表所示：参数 类型 描述 datid oid 数据库OID。datname name 数据库名称。numbackends integer 当前连接...
数据库
数据库基本信息 pg_stat_database pg_stat_database 视图将显示集群中每一个数据库中的每一行数据库范围的统计信息。相关参数信息如下表所示：参数 类型 描述 datid oid 数据库OID。datname name 数据库名称。numbackends integer 当前连接...
使用二级索引读取数据
表格存储 提供了单行读取和范围读取的查询方式用于读取索引表中数据。当返回的属性列在索引表中时，您可以直接读取索引表获取数据，否则请自行反查数据表获取数据。前提条件 已初始化Client。具体操作，请参见 初始化OTSClient。已创建二级...
配置API输入组件
读取JSON路径 非必填，填写JSON路径后可读取数组数据，不填写则读取单条数据。请求次数 支持 一次请求 和 多次请求。一次请求：只进行一次请求。多次请求：根据指定循环的参数，进行多次请求。请求参数：需要在Parameters或Body中配置，...
实时研发基本流程概述
步骤三：创建实时计算表 实时任务 通过创建Flink_SQL流任务，读取或写入元表映射的数据源中的表数据。步骤四：开发FLINK_SQL实时任务 任务运维 完成实时研发后，任务提交至运维中心，可以对实时任务进行启动、停止、查看任务日志、任务运行...
配置API输入组件
读取JSON路径 非必填，填写JSON路径后可读取数组数据，不填写则读取单条数据。请求次数 支持 一次请求 和 多次请求。一次请求：只进行一次请求。多次请求：根据指定循环的参数，进行多次请求。请求参数：需要在Parameters或Body中配置，...
使用二级索引读取数据
表格存储 提供了单行读取和范围读取的查询方式用于读取索引表中数据。当返回的属性列在索引表中时，您可以直接读取索引表获取数据，否则请自行反查数据表获取数据。说明 二级索引包括全局二级索引和本地二级索引。关于二级索引的更多信息，...
使用二级索引读取数据
表格存储 提供了单行读取和范围读取的查询方式用于读取索引表中数据。当返回的属性列在索引表中时，您可以直接读取索引表获取数据，否则请自行反查数据表获取数据。前提条件 已初始化Client。具体操作，请参见 初始化OTSClient。已创建二级...
Doc
TairDoc是类似RedisJSON的文档数据结构，支持JSON数据的增删改查。TairDoc简介 主要特性 完整地支持JSON标准。部分兼容 JSONPath RFC draft-4标准。说明 仅JSON.GET命令支持。完整地支持 JSONPointer 语法。文档作为二进制树存储，可以快速...
JSON和JSONB类型
使用限制 Hologres支持JSON和JSONB两种JSON数据类型，在使用时需要注意的事项如下：仅Hologres V0.9及以上版本支持JSON类型，如果您的实例是V0.9以下版本，请您使用 自助升级 或加入Hologres钉钉交流群反馈，详情请参见 如何获取更多的在线...
预置小程序包
当预置多个小程序包时，需要将不同 h5_json.json 中的 data 数据手动合并到一个配置文件中。初始化小程序时指定预置小程序包的路径。使用 initNebulaWithCustomPresetApplistPath 初始化容器，并接口中设置预置小程序离线包路径为上一步中...
配置Salesforce输入组件
配置Salesforce输入组件后，可以读取Salesforce数据源中的数据至Dataphin，进行数据集成与数据开发。本文为您介绍如何配置Salesforce输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建Salesforce数据源。具体操作，请...
配置Salesforce输入组件
配置Salesforce输入组件后，可以读取Salesforce数据源中的数据至Dataphin，进行数据集成与数据开发。本文为您介绍如何配置Salesforce输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建Salesforce数据源。具体操作，请...
背景信息以及准备工作
本文档将以DLA读取Redis中CSV和JSON两中类型的数据为例，介绍如何通过DLA读取Redis数据。目前仅支持通过DLA读取CSV和JSON两种类型的Redis数据。前提条件 通过DLA读取Redis数据前，您需要通过以下操作在Redis中准备好测试数据。创建实例 DLA...
BLOB数据类型（邀测中）
inputStream 参数表示传入InputStream对象，length 为InputStream对象中数据的大小。示例代码如下：String upsert="upsert into"+tableName+"(p1,c1,c2)values?int len=20*1024*1024+3;byte[]v=new byte[len];try(PreparedStatement pStmt...
配置Kudu输入组件
配置Kudu输入组件后，可以读取Kudu数据源中的数据至Dataphin，进行数据集成与数据开发。本文为您介绍如何配置Kudu输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建Kudu数据源。具体操作，请参见 创建Kudu数据源。进行...
JindoFS实战演示
Fluid+JindoFS对HDFS上的数据进行训练加速 Fluid+JindoFS对HDFS上的数据进行训练加速 2021-07-13 在AI训练场景中处理HDFS数据面临很多问题，例如计算存储分离，数据读取性能较差，无法满足AI训练作业的IO性能、很多深度学习训练框架并不...
创建Redis表并读取数据
name|id|age|+-+-+-+|lily|3|30|lucy|4|20|bond|2|20|james|1|10|读取JSON数据 读取dla_person_json表数据：select*from dla_person_json;name|id|age|+-+-+-+|lucy|210|3|james|110|1|bond|210|2|lily|310|3|接下来您可以通过MySQL客户端...
JMES语法
JMES是一个增强型的JSON查询计算语言，不仅可以对JSON数据进行提取，还可以做计算与转换。关于JMES语法的详细介绍请参见 JMES Tutorial。数据加工中的 json_select、e_json、e_split 函数支持通过JMES提取字段或JSON表达式的值，或者通过...
读取OSS数据
在成功创建了OSS外部表后，您可以访问和查询存储在OSS指定目录下的数据文件，实现高效的数据读取操作。背景信息 完成OSS外部表创建后，您可以根据需要选择如下方式之一对OSS外部表进行操作：（推荐）方式一：将OSS的开源格式数据导入...
概述
输出文件 使用规定的JSON数据格式，将数据源或通过脚本处理后的数据，映射到指定孪生节点的物模型属性上。文件大小不超过256 KB。脚本和输出文件编辑方法，请参见 脚本和输出语法。应用场景 数据映射使用场景如下：数据源为物模型属性Topic...
深度解析PolarDB数据库并行查询技术
如何将查询并行起来 对于一个类OLAP的查询，它通常是对大批量数据的查询，数据量大意味着数据远大于数据库的内存容量，大部分数据可能无法缓存到数据库的缓冲区中，而必须在查询执行时才动态加载到缓冲区中，这样就会造成大量IO操作，而IO...
MongoDB数据导入
本文介绍如何通过 AnalyticDB for MySQL 湖仓版（3.0）外表查询MongoDB数据，以及如何将MongoDB中的数据导入至 AnalyticDB for MySQL 湖仓版（3.0）。前提条件 已在MongoDB实例所在的同一VPC中创建 AnalyticDB for MySQL 湖仓版（3.0）集群...
数据归档
当归档数据块中顺序读取的page数达到了阈值，OSS将直接缓存整个归档数据文件块到缓存池中。innodb_oss_prefetch_random_pct_threshold 30%该参数为归档数据随机预取阈值。当归档数据块中随机读取的page数达到了阈值，OSS将直接缓存整个归档...
读取数据
适用于能确定完整主键，且要读取行数较多或者要读取多个表中数据的场景。范围读取数据 调用 GetRange 接口读取一个范围内的数据。GetRange操作支持按照确定范围进行正序读取和逆序读取，可以设置要读取的行数。如果范围较大，已扫描的行数...
二级索引
desc 查询当前表的信息并将表信息保存到本地文件describe_table_meta.json中。desc-o/tmp/describe_table_meta.json 使用二级索引查询数据 读取单行数据 读取表中的数据。您也可以将读取的数据导出到本地JSON格式的文件中。说明 如果读取的...
读取数据
适用于能确定完整主键，且要读取行数较多或者要读取多个表中数据的场景。范围读取数据 调用 GetRange 接口读取一个范围内的数据。GetRange操作支持按照确定范围进行正序读取和逆序读取，可以设置要读取的行数。如果范围较大，已扫描的行数...
读取数据
适用于能确定完整主键，且要读取行数较多或者要读取多个表中数据的场景。范围读取数据 调用 GetRange 接口读取一个范围内的数据。GetRange操作支持按照确定范围进行正序读取和逆序读取，可以设置要读取的行数。如果范围较大，已扫描的行数...
- 产品推荐
- 这些文档可能帮助您