存储空间清单
您可以使用对象存储OSS的清单功能获取存储空间（Bucket）中指定文件（Object）的数量、大小、存储类型、加密状态等信息。相对于GetBucket（ListObjects）接口，在海量Object的列举场景中，建议您优先使用清单功能。警告 为避免影响OSS-HDFS...
OSS-HDFS数据源
OSS-HDFS服务（JindoFS服务）是一款云原生数据湖存储产品，OSS-HDFS数据源为您提供读取和写入OSS-HDFS的双向通道，本文为您介绍DataWorks的OSS-HDFS数据同步的能力支持情况。使用限制 离线读 使用OSS-HDFS Reader时，请注意以下事项：由于...
使用说明
只读取输入表的col2和col0列，在GraphLoader的load方法中，record.get(0)得到的是col2列，顺序一致。job.addInput(TableInfo.builder().tableName(“tblname”).partSpec("pt1=a/pt2=b").build(),new String[]{"col2","col0"});说明 支持多...
产品优势
对象存储OSS是阿里云提供的海量、安全、低成本、高持久性的云存储服务。本文将OSS与传统的自建存储进行对比，让您更好地了解OSS。下表列举了与自建存储相比，OSS在易用性、持久性、数据安全等方面的优势。对比项 对象存储OSS 自建服务器...
Hive数据源
Hive数据源为您提供读取和写入Hive双向通道的功能，本文为您介绍DataWorks的Hive数据同步的能力支持情况。背景信息 Hive是基于Hadoop的数据仓库工具，用于解决海量结构化日志的数据统计。Hive可以将结构化的数据文件映射为一张表，并提供...
ColumnPaginationFilter
宽行读取过滤条件，适用于filter。数据结构 message ColumnPaginationFilter { required int32 offset=1;required int32 limit=2;} offset:类型：int32 描述：起始列的位置，表示从第几列开始读。limit:类型：int32 描述：读取的列的个数。...
MaxCompute近实时增全量一体化架构介绍
比如近实时数据导入链路，依赖平台引擎具备事务隔离、小文件自动合并等能力，又比如增全量数据合并链路，还依赖增量数据存储和读写，主键等能力。在MaxCompute推出新架构之前，为了支持这些复杂的综合业务场景，只能依赖于下图所示的三种...
FTP数据源
FTP数据源为您提供读取和写入FTP双向通道的功能，本文为您介绍DataWorks的FTP数据同步的能力支持情况。使用限制 FTP Reader实现了从远程FTP文件读取数据并转为数据同步协议的功能，远程FTP文件本身是无结构化数据存储。对于数据同步而言，...
PolarDB PostgreSQL版架构介绍
PolarDB PostgreSQL版 是一款阿里云自主研发的企业级数据库产品，采用计算存储分离架构，兼容PostgreSQL与Oracle。PolarDB PostgreSQL版 的存储与计算能力均可横向扩展，具有高可靠、高可用、弹性扩展等企业级数据库特性。同时，PolarDB ...
PolarDB PostgreSQL版架构介绍
PolarDB PostgreSQL版（兼容Oracle）是一款阿里云自主研发的企业级数据库产品，采用计算存储分离架构，兼容PostgreSQL与Oracle。PolarDB PostgreSQL版（兼容Oracle）的存储与计算能力均可横向扩展，具有高可靠、高可用、弹性扩展等企业级...
高级管理FAQ
删除策略之前，如果数据已经转储到低频存储或归档存储，数据仍会继续保存在低频存储或归档存储中，并将按照低频存储或归档存储的费用收取存储费用。如果您是想将存储至低频存储或归档存储中的数据取回通用型NAS存储空间，请参见 创建数据...
MaxCompute数据源
MaxCompute数据源作为数据中枢，为您提供读取和写入数据至MaxCompute的双向通道。使用限制 说明 DataWorks的MaxCompute数据源可使用 Tunnel Endpoint 地址访问相应MaxCompute项目的Tunnel服务，从而通过上传、下载等方式同步该项目的数据。...
测试模型
本章节为您介绍本次表格存储性能测试的测试模型。表结构 主键名 类型 编码方式 长度 userid string 4-Byte-Hash+Long.toHexString 20 属性列 属性列名 类型 长度 field0 string 100 field1 string 100 field2 string 100 field3 string 100...
MySQL
MySQL的CDC源表需要一个有特定权限（包括SELECT、SHOW DATABASES、REPLICATION SLAVE和REPLICATION CLIENT）的MySQL用户，才能读取全量和增量数据。当结合CTAS和CDAS整库同步语法使用时，MySQL CDC源表可以同步部分Schema变更，支持的变更...
宽表模型介绍
宽表模型通过数据表存储数据，单表支持PB级数据存储和千万QPS。数据表具有Schema-Free、宽行、多版本数据以及生命周期管理特点，支持主键列自增、局部事务、原子计数器、过滤器、条件更新等功能。模型介绍 表格存储 宽表模型是类Bigtable/...
蓝牙设备端SDK OTA接口
参数 名称 类型 描述 pno hal_partition_t flash 分区ID poff uint32_t*相对分区起始地址偏移量 buf void*读取的数据数组 buf_size uint32_t 读取的数据长度 返回值 成功：0；失败：1 hal_flash_write int32_t hal_flash_write(hal_...
请求者付费模式
请求者付费模式是指由请求者支付读取存储空间（Bucket）内数据时产生的流量费用和请求费用，而Bucket拥有者仅支付存储费用。当您希望共享数据，但又不希望产生流量费用和请求费用时，您可以开启此功能。设置请求者付费模式 以下代码用于...
源Logstore读取错误
本文介绍数据加工服务读取源Logstore错误的原因以及排查处理方法。加工引擎启动成功后，开始读取源Logstore的数据。数据加工引擎对源Logstore采用流式读取，在加工过程中会持续不断的读取源Logstore中的数据。本环节产生错误主要是由于对源...
新功能发布记录
本文介绍对象存储OSS每次发布涉及的功能变更及对应的文档，帮助您了解OSS的发布动态。2024年04月 功能名称 功能概述 发布时间 支持地域 相关文档 文档智能处理 由智能媒体管理（IMM）提供的针对文档的AI处理功能，包括文档内容翻译、文档...
时序分析存储概述
分析存储功能主要用于时序数据长期存储和分析场景。背景信息 分析存储是 表格存储 针对时序场景进行定制优化的低成本存储引擎。分析存储不仅支持高效的数据压缩存储，还具备强大的查询和分析功能，非常适合大规模的数据分析和查询任务。...
Tablestore数据源
表格存储Tablestore是构建在阿里云飞天分布式系统之上的NoSQL数据存储服务，Tablestore数据源为您提供读取和写入Tablestore双向通道的功能，本文为您介绍DataWorks的Tablestore数据同步的能力支持情况。使用限制 Tablestore Reader和Writer...
GetRow
调用GetRow接口根据指定的主键读取单行数据。请求消息结构 message GetRowRequest { required string table_name=1;required bytes primary_key=2;Plainbuffer编码为二进制。repeated string columns_to_get=3;不指定则读出所有的列。...
方案背景
通过持久化存储和分析车辆元数据信息，用户可以实现复杂的业务需求，例如统计某一个区域内的车辆数量用于判断道路拥挤程度，通过监测车速、发动机转速等最新数据的实时变化用于判断车辆行为或者状态是否出现了异常等。因此车联网场景下车辆...
功能特性
宽表模型通过数据表存储数据，单表支持PB级数据存储和千万QPS。数据表具有Schema-Free、宽行、多版本数据以及生命周期管理特点，支持主键列自增、局部事务、原子计数器、过滤器、条件更新等功能。主键列自增 条件更新 局部事务 原子计数器 ...
转换存储类型
OSS支持标准、低频访问、归档、冷归档、深度冷归档多种存储类型，您可以通过生命周期规则或者CopyObject的方式随时转换文件（Object）的存储类型。警告 对开通了OSS-HDFS服务的Bucket，建议不要修改OSS-HDFS的数据存储目录.dlsdata/下任意...
适配硬件链路和操作系统
int32_t aiot_at_hal_recv_handle(uint8_t*data,uint32_tsize)硬件链路适配的示例以STM32为例，详细信息，请参见Link SDK中的文件 portfiles/aiot_port/project/stm32l476-at/Core/hal_adapter.c。操作系统适配 AT模组驱动框架依赖抽象的...
IoT数据源
DataWorks数据集成支持使用IoT Reader插件读取物联网企业实例数据服务中提供的系统表、产品表、自定义存储表，本文为您介绍DataWorks的IoT数据读取能力。支持的版本 仅华东2（上海）、华北2（北京）、华南1（深圳）地域的标准型和尊享型...
TableInBatchGetRowRequest
max_versions int32 和time_range必须至少存在一个 读取数据时，返回的最多版本个数。如果指定max_versions为2，则每一列最多返回2个版本的数据。cache_blocks bool 否 本次读出的数据是否进入BlockCache。默认值为true，当前版本不支持...
应用场景
随着互联网的发展以及各企业对数据的重视，需要存储和持久化的订单量越来越大。传统关系型数据能够解决需要支持强一致的事务的在线业务，但海量的订单关系型数据无法保存全量数据，因此需要支持数据分层存储。订单数据场景中的核心需求如下...
BulkExport
如果请求的行存在，则消耗的读服务能力单元为指定行所有主键列数据大小与实际读取的属性列数据大小之和除以4 KB向上取整。关于数据大小计算的更多信息，请参见 数据存储量。如果请求超时，结果未定义，则服务能力单元有可能被消耗，也可能...
Java SDK快速入门
通过 表格存储 Java SDK使用 表格存储 宽表模型或者时序模型时，您需要先创建表，然后写入数据到表中以及读取表中数据。本文介绍如何快速使用宽表模型和时序模型。背景信息 表格存储 提供了宽表模型、时序模型、消息模型等多种数据模型，...
创建OSS-HDFS投递任务
OSS-HDFS服务（JindoFS服务）是一个云原生数据湖存储功能。基于统一的元数据管理能力，完全兼容HDFS文件系统接口，满足大数据和AI等领域的数据湖计算场景。日志服务支持将数据投递到OSS-HDFS。本文介绍创建OSS-HDFS投递任务的操作步骤。...
表格存储
元数据 用户存储海量的文档、媒体文件等数据的同时，对文件元数据的存储和分析不可或缺。此外，电商的订单、银行流水、运营商话费账单也需要存储及分析大量的元数据。表格存储可以帮助您实现高效的元数据管理。消息数据 表格存储自研的...
配置FTP输入组件
FTP输入组件适用于从FTP中将数据读取至大数据平台对接的存储系统内，进行数据整合和再加工。本文为您介绍如何配置FTP输入组件。前提条件 已创建FTP数据源，详情请参见 创建FTP数据源。进行FTP输入组件属性配置的账号，需具备该数据源的同步...
配置FTP输入组件
FTP输入组件适用于从FTP中将数据读取至大数据平台对接的存储系统内，进行数据整合和再加工。本文为您介绍如何配置FTP输入组件。前提条件 已创建FTP数据源，详情请参见 创建FTP数据源。进行FTP输入组件属性配置的账号，需具备该数据源的同步...
存储空间占用情况
OSS-HDFS服务使用OSS Bucket存储HDFS数据及其辅助数据，这些数据均存储于Bucket中的.dlsdata/路径下，并产生相应的OSS存储容量的计量和计费。OSS-HDFS文件数据块block OSS-HDFS文件的所有数据块block均占用OSS Bucket的存储空间。OSS-HDFS...
数据安全
读取和存储数据至OSS及NAS，实现数据集、模型等数据文件的存储安全。基于阿里云存储产品的高可用，保证用户数据安全可靠。数据存储介质 可用性说明 对象存储 OSS 安全与合规 文件存储 NAS 功能特性 云盘 云盘概述 云原生大数据计算服务 ...
X-Engine最佳实践
同时因为交易信息库的访问特征是：最近产生的交易记录会更频繁的被更新和读取。非常适合X-Engine的冷热分离架构，最新产生的交易记录总是保存在内存中并被高效索引，可以保证极高的处理速度和极低的访问延时。详情请参见 淘宝万亿级交易...
Amazon S3数据源
Simple Storage Service（简称S3）是一种专为从任意位置存储和检索任意数量的数据而构建的对象存储，DataWorks数据集成支持使用Amazon S3 Reader插件从S3数据库读取数据，本文为您介绍DataWorks的Amazon S3数据读取能力。支持的Amazon S3...
PutBucketArchiveDirectRead
开启归档直读后，直接读取归档存储类型的文件，会产生归档直读数据取回容量（RetrievalDataArchiveDirect）费用。对于已经解冻的归档存储类型的文件，不会产生归档直读数据取回容量费用。详情请参见 数据处理费用。请求语法 PUT/?...
- 产品推荐
- 这些文档可能帮助您