Amazon S3数据源
Simple Storage Service（简称S3）是一种专为从任意位置存储和检索任意数量的数据而构建的对象存储，DataWorks数据集成支持使用Amazon S3 Reader插件从S3数据库读取数据，本文为您介绍DataWorks的Amazon S3数据读取能力。支持的Amazon S3...
FTP数据源
FTP Writer实现了从数据集成协议转为FTP文件功能，FTP文件本身是无结构化数据存储。目前FTP Writer支持的功能如下：支持 不支持 支持且仅支持写入文本类型（不支持BLOB，如视频数据）的文件，且要求文本中schema为一张二维表。支持类CSV和...
查询机制
INSERT 当您使用INSERT插入一条数据时，具体过程如下：从数据文件中读取一个数据块到内存中，并将这行数据写入这个数据块，系统生成一条INSERT的WAL日志。当执行COMMIT命令后，系统会产生一条COMMIT的WAL日志。INSERT WAL日志和COMMIT WAL...
OSS-HDFS数据源
{"type":"long","index":0/从本地文件文本第一列（下标索引从0开始计数）获取LONG字段，index表示从数据文件中获取列数据。},{"type":"string","value":"alibaba"/HDFS Reader内部生成alibaba的字符串字段作为当前字段，value表示常量列。}...
RDS SQL Server I/O高问题
性能指标 I/O类型 说明 Page_Reads 读 由于未命中缓存，每秒从数据文件中读取的数据页的个数。Page_Write 写 每秒向数据文件中写入的数据页的个数。Log_Bytes_Flushed/sec 写 每秒向日志文件中写入的字节数。Backup_Restore_Throughput/sec...
生命周期管理概述
阿里云文件存储NAS推出的生命周期管理功能，可以帮助您将低频访问的冷文件数据从标准存储转换到低频存储或归档存储中，并采用低频存储或归档存储计费方式，从而减少文件系统的存储费用。本文主要介绍生命周期的策略、使用限制、应用场景、...
数据源概览
本章节主要介绍如何...CSV文件 JSON文件 Parquet文件 ORC文件 文本文件 外部数据源 Databricks数据洞察读取外部数据源时要求配置其与数据源实例的网络连接。OSS EMR HDFS MySQL Redis MaxCompute Tablestore MongoDB ElasticSearch JindoFS
数据操作
创建数据表后，您可以通过命令行工具在数据表中插入新数据、更新一行数据、读取数据、删除一行数据、扫描数据以及导入导出数据。插入新数据 在表中插入新数据。您也可以通过导入JSON格式的配置文件来插入新数据到表中。命令格式 put-pk '...
bucket-policy（授权策略）
添加或修改Bucket Policy时，ossutil先从JSON格式的文件中读取Bucket Policy配置，然后将读取到Bucket Policy添加到指定的Bucket。添加Bucket Policy为覆盖语义，即新添加的Bucket Policy会覆写已有的Bucket Policy配置。命令格式./ossutil...
添加并配置组件
在 数据源 页签将文中的 od飞线层数据json文件 数据复制粘贴到数据源编辑框中。单击 单点柱状层 子组件，在样式页签自定义修改 柱子高度 和 填充颜色 等柱子样式。在 数据源 页签将文中的 单点柱状层数据json文件 数据复制粘贴到数据源编辑...
将HBase数据同步到表格存储
步骤三：准备全量导出的JSON文件 DataX提供了HbaseReader插件从HBase中读取数据。在底层实现上，HbaseReader通过HBase的Java客户端连接远程HBase服务，并通过Scan方式读取指定rowkey范围内的数据，然后将读取的数据使用DataX自定义的数据...
GET_JSON_OBJECT
入参为JSON类型 命令格式 json get_json_object(json<json>,string<json_path>)参数说明 json：必填，待处理的JSON数据。json_path：必填，需要返回的值的JSON路径。返回值说明 返回JSON类型。使用示例 示例1：从JSON中获取key为a的value值...
存储格式与SerDe
DLA内置了处理各类数据文件的Serialize/Deserilize（简称SerDe，用于序列化和反序列化），您无需编写程序，直接选用一款或多款SerDe来匹配OSS上的数据文件格式。通过SerDe，DLA可以对OSS上的多种格式的文件进行查询分析，包括纯文本文件...
JSON类型
根据 RFC 7159 中的说明，JSON 数据类型是用来存储 JSON（JavaScript Object Notation）数据的。这种数据也可以被存储为 text，但是 JSON 数据类型的优势在于能强制要求每个被存储的值符合 JSON 规则。也有很多 JSON 相关的函数和操作符...
2024年
修复数据处理过程中系统在尝试读取数据文件的特定块时发生错误，触发 beam could not read block in file 报错。该版本调整了文件读取逻辑，增强了对文件块损坏或不可读状态的容错处理，确保数据读取过程的稳定性和可靠性。修复查询监控...
ElasticSearch
本文介绍如何使用Databricks数据洞察访问ElasticSearch数据源。前提条件 通过主账号登录 阿里云Databricks控制台。已创建 ElasticSearch实例，具体参见 创建阿里云Elasticsearch实例。已创建DDI集群，具体请参见 创建集群。创建集群并通过...
COPY
COPY 用于在PolarDB表和标准文件系统文件之间移动数据。简介 COPY 在 PolarDB表和标准文件系统文件之间移动数据。COPY TO 把一个表的内容复制 到 一个文件，而 COPY FROM 则从一个文件复制数据到一个表（把数据追加到表中原有数据）。COPY ...
复杂类型函数
您可以在MaxCompute SQL中使用复杂类型函数处理复杂数据类型，例如ARRAY、MAP、STRUCT、JSON。本文为您提供MaxCompute SQL支持的复杂类型函数的命令格式、参数说明及示例，指导您使用复杂类型函数完成开发。MaxCompute SQL支持的复杂类型...
JSON函数和操作符
本文描述了用于处理和创建JSON数据的函数和运算器，以及SQL/JSON路径语言。处理和创建JSON数据 json和jsonb操作符表展示了可以用于JSON数据类型的操作符。此外，比较操作符表所示的常用比较操作符也适用于 jsonb，但不适用于 json。比较...
分析外部OSS上的数据
第一种方式：从OSS数据文件中获取列类型（推荐），如下所示：CREATE FOREIGN TABLE `test` FROM CONNECTION='OSS:/${oss_key}:${oss_key_secret}@${endpoint}/${bucket}/test.orc' COMMENT='columnar=1';您可以使用 SHOW create table ...
JSON数据从MongoDB迁移至MaxCompute
本文为您介绍如何通过DataWorks的数据集成功能，将从MongoDB提取的JSON字段迁移至MaxCompute。前提条件 开通MaxCompute和DataWorks。新增MaxCompute数据源。详情请参见 创建MaxCompute数据源。在DataWorks上完成创建业务流程，本例使用...
JSON数据从MongoDB迁移至MaxCompute
本文为您介绍如何通过DataWorks的数据集成功能，将从MongoDB提取的JSON字段迁移至MaxCompute。前提条件 开通MaxCompute。在DataWorks上完成创建业务流程，本例使用DataWorks简单模式。详情请参见 创建业务流程。在MongoDB上准备测试数据 ...
支持的文件格式
JSON EsriJsonSerDe DLA支持Esri ArcGIS的地理JSON数据文件的SerDe处理，关于这种地理JSON数据格式说明，可以参考：https://github.com/Esri/spatial-framework-for-hadoop/wiki/JSON-FormatsCREATE EXTERNAL TABLE IF NOT EXISTS ...
数据库
blk_read_time double precision 在数据库中后端花费在读取数据文件块的时间。单位：毫秒。blk_write_time double precision 在数据库中后端花费在写数据文件块的时间。单位：毫秒。stats_reset timestamp with time zone 统计信息最近一次...
数据库
blk_read_time double precision 在数据库中后端花费在读取数据文件块的时间。单位：毫秒。blk_write_time double precision 在数据库中后端花费在写数据文件块的时间。单位：毫秒。stats_reset timestamp with time zone 统计信息最近一次...
字符串函数
当您需要对存储在表中的字符串数据进行截取、拼接、转化、比较、搜索等操作，您可以使用MaxCompute支持的字符串函数对指定字符串进行灵活处理。本文为您介绍MaxCompute支持的字符串函数的命令格式、参数说明及示例。MaxCompute SQL支持的...
使用列索引加速ETL
PolarDB 支持ETL（Extract Transform Load）功能，开启该功能后，您可以在RW节点上使用列存索引，RW节点的SQL语句中的 SELECT 请求会发送至只读列存节点并使用列存索引功能进行加速查询，读取数据后，PolarDB 会通过内部网络将数据传回RW...
使用OSS控制台上传数据文件
对象存储OSS控制台支持上传大小不超过5 GB的文件，如果您需要导入图数据库GDB实例的数据文件不超过5 GB，您可以将数据文件上传至对象存储OSS的Bucket中，然后从Bucket中将数据文件导入至图数据库GDB实例。本文介绍将数据文件上传至对象存储...
22.8版本新特性概览
远程文件系统的本地缓存 当ClickHouse从本地磁盘文件系统读取数据时是非常快的，例如阿里云ECS本地盘或者云盘上的数据被OSS缓存在Page Cache中再进行读取。但是，如果ClickHouse从远程文件系统（例如OSS）读取数据，则系统不会感知到这些...
Parquet（推荐）
我们建议将数据写到Parquet以方便长期存储，因为从Parquet文件读取始终比从JSON或者CSV文件效率更高。前提条件 通过主账号登录 阿里云 Databricks控制台。已创建集群，具体请参见 创建集群。已使用OSS管理控制台创建 非系统目录存储空间，...
计费常见问题
OSS和 文件存储 HDFS 版 之间的数据迁移 如果您从阿里云OSS读写数据，则会产生OSS请求费用，该费用由OSS收取。更多信息，请参见 请求费用。如何查看是否欠费？欠费会影响您的 文件存储 HDFS 版 的使用，您可以在 用户中心 查看是否欠费。...
使用Fluid加速Lindorm S3协议兼容的数据访问
这种大幅度的加速效果是因为Fluid具有强大的缓存能力，只要您访问一次某个远程文件，该文件就会被缓存在Fluid中，您之后的访问都不需要读取远程文件，而是直接从Fluid中读取数据。可选：当您不再使用该数据加速功能时，请执行以下命令清理...
Hive数据源
Hive可以将结构化的数据文件映射为一张表，并提供SQL查询功能。Hive的本质是一个SQL解析引擎，其底层通过MapReduce实现数据分析，使用HDFS存储处理的数据，将HQL转化为MapReduce程序并在Yarn上运行。Hive Reader插件通过访问HiveMetastore...
IO加速
背景 RDS PostgreSQL在数据处理过程中，数据会从磁盘读取到内存，在内存中处理完成后，数据再从内存写入到磁盘中。与内存操作相比，磁盘IO操作运行速度较慢，将会消耗更多的时间。当业务出现大规模数据读写或频繁数据读写请求时，磁盘IO...
添加静态JSON
本文档介绍在DataV中添加静态JSON文件的方法。前提条件 已准备好待添加的静态JSON文件。操作步骤 登录 DataV控制台。参见 创建可视化应用，创建一个可视化应用项目。单击应用画布中的一个组件，在右侧的配置面板中，单击 数据。在 数据 ...
DataX同步数据
DataX是异构数据源离线同步的工具，支持多种异构数据源之间高效的数据同步。Dataphin系统内嵌了DataX组件，支持通过构建Shell任务调用DataX，实现数据同步。本教程以RDS MySQL数据库为例，为您介绍基于Dataphin如何调用DataX同步数据。前提...
DataX同步数据
DataX是异构数据源离线同步的工具，支持多种异构数据源之间高效的数据同步。Dataphin系统内嵌了DataX组件，支持通过构建Shell任务调用DataX，实现数据同步。本教程以RDS MySQL数据库为例，为您介绍基于Dataphin如何调用DataX同步数据。前提...
从OSS导入JSON数据文件
xxx","accesskey":"xxx",}' 上表定义说明如下：ENGINE=OSS_JSON：用于表明该表是外部表，存储引擎是外部的OSS的JSON数据文件。TABLE_PROPERTIES：用于告诉HybridDB for MySQL如何访问OSS中的源数据。endpoint：OSS的数据连接地址，公共...
添加数据源概述
文件类 说明 DataV目前不支持从其他文件存储中读取大型的数据文件。CSV文件 无。静态JSON 无。API类 添加API数据源 您可以在组件配置页面的 数据 面板中选择一种GET或POST任意一种请求方式，并将API地址直接粘贴到 URL 字段中。添加Open ...
使用DataX同步
通过DataX，您可以将MySQL数据库中的全量数据同步到表格存储（Tablestore）的数据表中。DataX只支持同步全量数据，不支持同步增量数据。前提条件 已创建表格存储实例并在实例详情页面获取实例的服务地址（Endpoint）。具体操作，请参见 ...
- 产品推荐
- 这些文档可能帮助您