读取数据
如果需要了解表格存储各场景的应用案例，请参见 快速玩转Tablestore入门与实战。查询方式 表格存储 提供的数据读取接口包括GetRow、BatchGetRow和GetRange。读取数据时，请根据实际查询场景使用相应查询方式读取数据。重要 当要读取带有自...
OSS-HDFS数据源
OSS-HDFS服务（JindoFS服务）是一款云原生数据湖存储产品，OSS-HDFS数据源为您提供读取和写入OSS-HDFS的双向通道，本文为您介绍DataWorks的OSS-HDFS数据同步的能力支持情况。使用限制 离线读 使用OSS-HDFS Reader时，请注意以下事项：由于...
存储空间清单
计费说明 使用Bucket清单功能会产生一定的费用，但公测期间仅收取调用PutBucketInventory、GetBucketInventory、ListBucketInventory、DeleteBucketInventory API的请求费用、清单结果文件的存储费用，以及正常读取清单结果文件的流量和...
使用OSS外表高速导入OSS数据
说明 AnalyticDB PostgreSQL 的每个数据分区（Segment节点）将按轮询方式并行对OSS上的数据文件进行读取，文件的数目建议为数据节点数（Segment个数）的整数倍，从而提升读取效率。在 AnalyticDB PostgreSQL 中，创建READABLE外部表。创建...
Amazon S3数据源
支持的字段类型 类型分类 数据集成column配置类型 S3数据类型 整数类 LONG LONG 浮点类 DOUBLE DOUBLE 字符串类 STRING STRING 日期时间类 DATE DATE 布尔型 BOOL BOOL 数据同步任务开发 Amazon S3数据同步任务的配置入口和通用配置流程...
产品介绍
文件传输：团队内部或与上下游客户需要频繁的传输资料、大文件，传统传输工具如某即时通讯工具、邮箱等对文件大小有限制，且传输速度慢。文档共享协作：文件流转，主要通过某些即时通讯工具、邮箱、U盘等传统方式，每次修改都需反复发送，...
LOAD
MaxCompute客户端 使用SQL分析连接 使用云命令行（odpscmd）连接 使用DataWorks连接 MaxCompute Studio 功能介绍 MaxCompute支持使用 load overwrite 或 load into 命令将 Hologres、OSS、Amazon Redshift、BigQuery 外部存储的CSV格式或...
LOAD
MaxCompute客户端 使用SQL分析连接 使用云命令行（odpscmd）连接 使用DataWorks连接 MaxCompute Studio 功能介绍 MaxCompute支持使用 load overwrite 或 load into 命令将 Hologres、OSS、Amazon Redshift、BigQuery 外部存储的CSV格式或...
ORC文件
它针对大型流式数据读取进行了优化，但集成了对快速查询所需要行的相关支持。ORC和Parquet文件格式的区别：本质上Parquet针对Spark进行了优化，而ORC针对Hive进行的优化。前提条件 通过主账号登录 阿里云 Databricks控制台。已创建集群，...
结果编辑与导出
文件格式 将查询结果导出为 CSV、SQL 或 Excel 文件：导出 SQL 文件：编辑 查询 SQL 语句，选择导出的 查询结果条数限制、文件名称、文件格式（SQL）、文件编码、数据脱敏 和 SQL 文件设置（表名）。导出 CSV 文件：编辑 查询 SQL 语句，...
使用Big Data Tools连接JetBrains IDE与OSS
您就可以在不同选项卡中快速打开多个Bucket并在这些Bucket之间来回切换，还可以扩展目录和结构化文件（例如 CSV、Parquet、ORC 或 Avro）以查看这些文件的列和数据类型。您还可以执行下列操作：使用编辑器选项卡顶部的 图标自定义视图...
使用SQL分析连接
MaxCompute控制台提供SQL分析，方便您快速执行SQL语句操作。本文为您介绍如何通过SQL分析使用MaxCompute服务。概述 您开通MaxCompute后，在控制台创建项目后即可直接通过SQL分析快速编辑并执行SQL。您可以通过SQL分析快捷使用MaxCompute...
基本概念
Metadata 对媒体数据（比如视频帧）引用说明，而媒体数据在这些引用文件中的排列关系全部在第一个主文件中的metadata描述，这样就会导致视频时长越大文件头就会越大、加载越慢。HLS（HTTP Live Streaming）：苹果公司推出的基于HTTP的流...
通用型NAS备份
在文件列表每行填写一个路径，且每一行只能以源备份路径最后一个文件夹开头。例如备份路径为/test/data，要恢复data文件夹下file.txt和abc，请按如下格式填写路径。data/file.txt/data/abc 在 恢复目的地 页签，选择该地域下的需要恢复的 ...
FTP数据源
否 TEXT header header:txt文本（包括csv、text等）写出时的表头，脚本模式支持配置表头信息，例如"header":["id","name","age"]，表示将id、name、age作为表头写入ftp文件的第一行。否 无 markDoneFileName 标档文件名，同步任务结束后...
使用EasyRec构建推荐模型
EasyRec可以帮助您快速构建推荐模型。本文以读取MaxCompute表数据为例，介绍如何使用EasyRec进行模型训练、配置任务例行化及部署模型。前提条件 开通OSS，并创建Bucket，详情请参见 开通OSS服务 和 控制台创建存储空间。重要 创建Bucket时...
操作汇总
如需了解 表格存储 各场景的应用案例，请参见 快速玩转Tablestore入门与实战。调用说明 表格存储 API只能通过 表格存储 提供的各语言SDK进行调用，不能直接使用HTTP请求方法进行调用。请根据所用开发语言选择相应SDK参考文档。语言 参考...
数据上传
DataWorks的数据上传功能支持将本地文件、数据分析的电子表格、OSS文件等数据上传至MaxCompute、EMR Hive、Hologres等引擎进行分析及管理，为您提供便捷的数据传输服务，助力您快速实现数据驱动业务。本文为您介绍如何使用数据上传功能上传...
设置列索引的排序键
重复执行步骤3，直到合并文件有序排列，然后读取合并文件中的每一行记录，根据偏移值读取数据文件中对应的记录并追加到列存索引中。增量数据排序流程 增量数据的排序流程是渐进式的，不能保证数据完全有序。总体流程如下：将所有的数据块...
分类玫瑰图（v4.x版本）
系列 CSV数据：打开开关，可以直接使用CSV数据文件中的列映射为值和数据系列；关闭开关，系列映射 配置项生效。可单击 图标控制CSV数据开关的显隐。参数 说明 自动解析字段 打开开关，组件使用CSV数据会自动解析字段并显示；关闭开关，字段...
下载日志
如果后续日志存在新的字段，则所有新的字段将以JSON格式存放在CSV文件的最后一列（列名为空）。采用JSON格式时，单条日志的内容会转换为JSON格式，然后以单行形式写入文件。quote字符 选择Quote字符，用于包裹日志中的特殊字符，避免被转义...
使用e_table_map函数对HTTP请求返回码进行富化
通过使用OSS文件实现富化 较大 不支持 支持 相对静态的，更新不频繁的映射表。代码内嵌 小 不支持 不支持 典型HTTP返回码映射表。方案一：使用Logstore实现富化（推荐）通过SDK方式将HTTP返回码写入名为http_code的Logstore。Logstore中...
同步增量数据到OSS
首行输出表头 当设置 文本类型 为 text 或 csv 时才能配置该参数。写入文件时第一行是否输出表头。默认不输出表头。如果需要在第一行输出表头，请选中 首行输出表头 复选框。在 字段映射 区域，系统自动进行字段映射，保持默认配置即可。...
OSS存储读写分离最佳实践
OSS数据卷是使用ossfs文件进行...编程语言 参考代码 JAVA Java快速入门 Python Python快速入门 GO Go快速入门 C++ C++快速入门 C C快速入门 实现OSS读写分离的其他工具 工具 相关文档 OSS管理控制台 控制台快速入门 OpenAPI PutObject ossutil...
关联托管的CSV数据源
日志服务支持通过SDK方式将本地CSV文件上传到日志服务进行托管，并建立Logstore与CSV文件的关联。本文介绍如何在日志服务Logstore中联合托管的CSV文件进行数据分析。前提条件 已采集日志。更多信息，请参见 数据采集。已配置索引。更多信息...
使用前须知
服务审计 S3数据事件 展示CloudTrail记录的S3数据事件信息，包括Bucket列表、文件操作次数、读取文件次数、写文件次数、删除文件次数以及文件操作趋势等图表。说明 只有您配置的CloudTrail包含了数据事件时，该仪表盘才会有数据。更多信息...
Broker Load
背景信息 Broker Load是一种异步的导入方式，通过读取远端存储（如HDFS、S3）上的数据，导入数据到 云数据库 SelectDB 版 的表中。您可通过MySQL协议创建 Broker Load 导入，并通过 SHOW LOAD 命令检查导入结果。单次导入数据量最多可支持...
PyAlink脚本
model_path：存储PipelineModel模型文件的OSS路径，需要修改为实际存放模型文件的OSS路径。config.json文件中的其他参数解释，详情请参见 命令使用说明。将模型部署为EAS服务。您可以登录eascmd客户端部署模型服务。如何登录eascmd客户端，...
PolarDB MySQL版8.0.2版本发布日志
修复读取CSV格式的OSS冷数据时，可能只读取到第一个文件的问题。修复带 的数据，通过DLM归档后无法读取的问题。修复冷数据归档后，OSS上可能会残留临时文件的问题。8.0.2.2.13 类别 说明 发布时间 新增功能和性能优化 新增 条件下推（WHERE...
深度解析PolarDB数据库并行查询技术
显然并行IO是一个简单易行的方法，如果多个线程可以同时发起IO，每个线程只读取部分数据，这样就可以快速的将数据读到数据库的缓冲区中。并行读取数据的示意图如上所示，每个worker代表一个线程，如果数据已经有partition分区，可以每个...
DataX Writer
否 无 类型转换 默认传入的数据均会被转为字符串，并以 \t 作为列分隔符，作为行分隔符，组成CSV文件进行Stream Load导入操作。类型转换示例如下：更改列分隔符，则loadProps配置如下。loadProps":{"column_separator":"\\x01","row_...
快速开始转码任务
本文为您介绍智能媒体服务开通、控制台上传文件及创建转码任务的全流程操作，帮助您快速上手转码操作。流程说明 下图为智能媒体服务快速开始转码任务流程，详细步骤说明见下文。步骤一：开通智能媒体服务 前提条件 您已经注册了阿里云账号...
安装PHP SDK
通过OpenAPI，您无需手动封装请求和签名操作，就可以快速对日志服务API进行调试。更多信息，请参见 OpenAPI开发者门户。为满足越来越多的自动化日志服务配置需求，日志服务提供命令行工具CLI（Command Line Interface）。更多信息，请参见 ...
MapReduce常见问题
执行MapReduce时，以下两种情况会报此错误：classpath 参数的类名写错，要写上完整的包名。打包JAR的时候出错，注意打包时要把SRC中的源码都选上。执行MaxCompute MapReduce时，报错ODPS-0010000，如何解决？问题现象：执行MaxCompute ...
凭据客户端
凭据客户端具有以下功能特性：支持开发者在应用中快速集成凭据能力，一行代码读取凭据信息。封装凭据在应用中缓存和刷新的功能。封装API错误的重试机制，智能处理服务端错误。开放插件式设计模式，支持开发者自定义扩展缓存、错误重试等...
创建数据集：用于数据标注
文件Demo参考 textDemo1.manifest textDemo2.csv 创建图像/视频/音频类型数据集 本文以图像为例进行说明，视频、音频类文件操作同理。对比项 方式一：扫描文件夹 方式二：本地上传 操作流程 将图像文件上传至阿里云OSS，生成OSS存储路径URL...
数据库
数据库基本信息 pg_stat_database pg_stat_database 视图将显示集群中每一个数据库中的每一行数据库范围的统计信息。相关参数信息如下表所示：参数 类型 描述 datid oid 数据库OID。datname name 数据库名称。numbackends integer 当前连接...
数据库
数据库基本信息 pg_stat_database pg_stat_database 视图将显示集群中每一个数据库中的每一行数据库范围的统计信息。相关参数信息如下表所示：参数 类型 描述 datid oid 数据库OID。datname name 数据库名称。numbackends integer 当前连接...
账单概览
重要 如果存储文件的行数超过一定阈值（系统默认阈值：30万行数据），会自动拆分成多个CSV文件，并合并压缩成一个ZIP文件。用户可设置推送起始账期，只支持对近12个月已出账的账单进行订阅。首次操作订阅时，需要进入到RAM授权页进行授权。...
整库离线同步至OSS
行分隔符 将源端每行数据写入OSS时所使用的行分隔符，默认值为（）。编码 定义文件写入OSS的编码格式。null值 文本文件中无法使用标准字符串定义null（空指针），数据同步系统提供该参数定义可以表示为null的字符串。例如，您配置 null值 ...
- 产品推荐
- 这些文档可能帮助您