宽表模型介绍
使用宽表模型可以实现元数据、大数据等多种场景的解决方案，例如 搭建海量智能元数据管理系统、亿量级订单管理方案、基于多元索引搭建亿量级店铺搜索系统、表格存储结合Spark流批处理实现一体化存储和计算、表格存储结合实时计算Flink进行...
通过控制台使用宽表模型
表格存储 提供了控制台、命令行工具（Tablestore CLI）和Tablestore SDK三种访问方式。通过控制台使用宽表模型（WideColumn）时，您需要开通表格存储服务，然后使用控制台进行创建实例、创建数据表、读写表中数据以及使用SQL查询数据的操作...
功能特性
触发器 API 批量操作 使用批处理对存储空间（Bucket）中存量文件进行批量处理。例如将Bucket某个目录中后缀为.docx的文件转换成PDF格式、将所有MOV格式的文件转码为MP4等。批量操作 API 查询任务信息 可以对异步处理任务的进度进行查询，也...
查询Bucket级别的用量情况
图片处理请求次数：记录处理存储空间中图片的请求次数。在图表上方选择资源使用量的时间粒度。以请求次数为例，说明基础数据的查看方法。图表下方默认显示4xx错误、5xx错误、PUT类型以及GET类型等基础数据。您可以选择隐藏不需要显示的数据...
批处理
使用批处理对存储空间（Bucket）中存量文件进行批量处理。例如将Bucket某个目录中后缀为.docx的文件转换成PDF格式、将所有MOV格式的文件转码为MP4等。说明 新版数据处理功能API、SDK支持在 IMM服务接入点 中的地域进行使用。注意事项 批...
Transaction Table2.0概述
很多业务场景并不要求延时秒级更新可见或者行级更新，更多的需求是分钟级或者小时级的近实时数据处理叠加海量数据批处理场景，MaxCompute支持基于Transaction Table2.0实现近实时的增全量一体的数据存储、计算解决方案，本文为您介绍本方案...
方案背景
介绍表格存储结合Spark流批处理实现一体化存储和计算的背景、适用场景、样例场景和架构设计。背景 电子商务模式是指在网络环境和大数据环境下基于一定技术基础的商务运作方式和盈利模式。在电商运营中数据的分析和可视化是最重要的部分之一...
术语表
术语 全称 中文 说明 OSS Object Storage Service 阿里云对象存储 媒体处理服务对用户存储于OSS的媒体文件进行转码，并将转码输出文件保存在MediaBucket中或者OutputBucket中。Bucket OSS Bucket OSS Bucket 遵守OSS Bucket定义，只能包括...
概述
基于Tablestore Sink Connector，您可以将Apache Kafka中的数据批量导入到表格存储（Tablestore）的数据表或者时序表中。背景信息 Kafka是一个分布式消息队列系统，不同的数据系统可以通过Kafka Connect工具将数据流输入Kafka和从Kafka获取...
产品概述
什么是批量计算 批量计算（BatchCompute）是一种适用于大规模并行批处理作业的分布式云服务。BatchCompute 可支持海量作业并发规模，系统自动完成资源管理、作业调度和数据加载，并按实际使用量计费。通俗的讲，就是您可以提交一个任意的...
准备工作
用于通过远程登录工具（如putty等）登录EMR Header服务器进行Spark流批处理。表格存储Tablestore 访问表格存储服务的AccessKey ID和AccessKey Secret。登录控制台的用户名和密码。实例的名称和服务地址。用于访问表格存储服务，将原始数据...
CreateBatch-创建批处理任务
创建一个批处理任务，指定存储内已存在的若干文件，对其批量执行指定操作，如转码、格式转换等。接口说明 创建批处理任务，如果需要通过 对象存储数据处理方式 进行数据处理，请确保已经完成了 绑定对象存储桶 的操作。调试 您可以在Open...
权限
批处理和触发器权限 使用批处理和触发器，您需要授权给IMM服务访问其他云资源（例如OSS）的权限。没有服务角色时，您可以在 云资源访问授权 页面创建默认角色。关于如何为批处理添加服务角色，请参见 批处理。关于如何为触发器添加服务角色...
变量
在使用数据处理功能的批处理或触发器功能时，每个Object都会触发一个任务，任务中需要指定处理后的文件保存的输出路径，如果多个任务输出路径是同一个路径，则会产生文件覆盖，因此需要保证输出路径为动态路径，所以引入变量。此外，您可以...
API概览
批处理 批处理 CreateBatch 创建批处理任务 创建一个批处理任务，指定存储内已存在的若干文件，对其批量执行指定操作，如转码、格式转换等。SuspendBatch 暂停批处理任务 将一个 Running（正在执行）的批处理任务暂停。ResumeBatch 恢复批...
媒体处理概述
您可以通过批处理对存量视频文件进行处理。操作方式，请参见 批处理。您可以通过触发器对增量视频文件进行处理。操作方式，请参见 触发器。使用限制 媒体处理支持的格式如下表所示。项目 音频格式 视频格式 输入 wav、pcm、tta、flac、au、...
触发器
和批处理的不同的是，触发器只会对创建触发器之后OSS内新增的文件进行处理，对存量文件则不会处理。说明 新版数据处理功能API、SDK支持在 IMM服务接入点 中的地域进行使用。注意事项 触发器将对满足条件的所有文件生成对应数据处理任务，请...
文档处理概述
您可以使用批处理对存量文档进行转换处理。操作方式，请参见 批处理。您可以使用触发器对增量文档进行转换处理。操作方式，请参见 触发器。您可以通过同步处理接口x-oss-process对文档进行在线预览、在线编辑、文档快照、文档智能处理。...
图片智能概述
您可以将要分析的图片上传保存到阿里云对象存储OSS上，通过OSS的RESTful数据处理接口 x-oss-process，在任何时间、任何地点、任何互联网设备上对图片进行智能分析。处理参数 OSS支持通过单个参数使用图片智能能力，支持将该参数封装在一个...
产品优势
批流一体 在实际的业务场景中，往往既有批处理的需求，也有流式计算的需求。您不仅需要清楚地划分批流两种作业，还需要分别进行开发。Databricks Delta Lake可以使用一套API接口同时处理批作业和流作业，达到事半功倍的效果。协同分析 数据...
概述
表格存储具有良好的周边生态，可以对接MaxCompute、Blink等大数据分析工具，轻松实现流处理、批处理。同步方案 请根据实际数据迁移场景选择合适的同步方案。同步方案 说明 使用DataX同步 通过DataX，您可以将MySQL数据库（例如自建MySQL或...
应用场景
本文介绍 云消息队列 Kafka 版 的典型应用场景，包括网站活动跟踪、日志聚合、数据处理、数据中转枢纽。...同时支持实时和批处理：支持本地数据持久化和Page Cache，在无性能损耗的情况下能同时传送消息到实时和批处理的消费者。
工作流概述
工作流指媒体处理中的云端自动化处理工作流，音视频上传完毕后自动执行处理流程。本文介绍工作流的基本概念及使用方式。功能概览 基本概念 基本概念 说明 媒体工作流（MediaWorkflow）工作流是预先编排好的一系列任务流程，可以实现在指定...
方案实现
外表order_source用于流批处理的SQL执行。DROP TABLE IF EXISTS order_source;CREATE TABLE order_source USING tablestore OPTIONS(endpoint="http://vehicle-test.cn-hangzhou.vpc.tablestore.aliyuncs.com",access.key.id="",access.key...
流计算实现细节
图中MicroBatchExecutor为Spark的微批处理框架，Source为Structured Streaming抽象的接口类，SourceRDD为Spark的RDD抽象类，TablestoreClient为表格存储的客户端。实线表示详细操作，虚线表示请求成功返回。从整体上看，时序流程是...
整体架构
技术架构 AnalyticDB MySQL版 采用云原生架构，计算存储分离、冷热数据分离，支持高吞吐实时写入和数据强一致，兼顾高并发查询和大吞吐批处理的混合负载。AnalyticDB MySQL 数仓版（3.0）主要用来处理高性能在线分析场景的数据。随着数据...
E-MapReduce数据迁移
提供用户在云上使用开源技术建设数据仓库、离线批处理、在线流式处理、即时查询、机器学习等场景下的大数据解决方案。前提条件 已开通并创建E-MapRedece集群。具体操作，请参见 创建集群。说明 当使用阿里云 文件存储 HDFS 版 替换E-...
简介
针对OSS内存储的图片文件（Object），您可以在GetObject请求中携带图片处理参数对图片文件进行处理。例如添加图片水印、转换格式等。操作视频 观看以下视频了解如何快速处理图片：处理参数 OSS支持直接使用一个或多个参数处理图片，也支持...
错误处理
本文介绍表格存储PHP SDK的错误处理。方式 表格存储PHP SDK目前采用“异常”的方式处理错误，如果调用接口没有抛出异常，则说明操作成功，否则失败。说明 批量相关接口，例如BatchGetRow和BatchWriteRow不仅需要判断是否有异常，还需要检查...
功能特性
数据存储 功能集 功能 功能描述 参考文档 元数据存储 宽表模型 宽表模型（WideColumn）是类Bigtable/HBase模型，可应用于元数据、大数据等多种场景。宽表模型通过数据表存储数据，单表支持PB级数据存储和千万QPS。数据表具有Schema-Free、...
错误处理
本文介绍表格存储Java SDK的错误处理。方式 表格存储Java SDK目前采用“异常”的方式处理错误，如果调用接口没有抛出异常，则说明操作成功，否则失败。说明 批量相关接口，例如BatchGetRow和BatchWriteRow不仅需要判断是否有异常，还需要...
通过PrestoDB使用Tablestore
PrestoDB是基于MPP架构的开源大数据分布式SQL查询引擎，支持对接MySQL、Elasticsearch、...结合计算引擎和表格存储您可以实现 表格存储结合Spark流批处理实现一体化存储和计算、表格存储结合实时计算Flink进行大数据分析 等解决方案。
功能概览
业务流程 终端 App 中集成了双录 SDK 后，与双录云端服务的业务调用流程如下：本地双录质检 针对线下面对面展业的双录场景，本地双录质检功能为该类型的展业双录活动提供现场交互式检测。本地双录 SDK 功能 本地双录 SDK 在录制视频流时，...
高级配置
name mount_point-ourl=endpoint-oallow_other-ouid=1000-ogid=1000-omp_umask=007 挂载指定文件目录 ossfs除了可以把整个存储空间挂载到本地文件系统外，还可以通过设置前缀，把存储空间下的某个文件目录挂载到本地文件系统。命令格式如下...
概述
远程双录场景指的是异地线上展业，并对展业过程进行录音录像。远程双录质检功能为该类型的展业双录活动提供实时交互式检测。检测原理 智能双录质检为移动端 App 提供了智能检测 SDK。通过 SDK，为终端 App 提供实时检测能力，即支持在联网...
Kafka数据接入
通过创建Tablestore Sink Connector，将 云消息队列 Kafka 版 实例的数据源Topic导出到 表格存储（Tablestore）。前提条件 云消息队列 Kafka 版 已为实例开启Connector。具体操作，请参见 开启Connector。已为实例创建数据源Topic。更多...
常见问题
本文列举了阿里云 表格存储 的常见问题，帮助您快速了解 表格存储。一般性常见问题 什么是 表格存储？表格存储 面向海量结构化数据提供Serverless表存储服务，同时针对物联网场景深度优化提供一站式的IoTstore解决方案。适用于海量账单、IM...
通道服务概述
通道服务（Tunnel Service）是基于表格存储数据接口上的全增量一体化服务。通道服务提供了增量、全量、增量加全量三种类型的分布式数据实时消费通道。通过为数据表建立数据通道，您可以简单地实现对表中历史存量和新增数据的消费处理。背景...
功能特性
数据管理 功能集 功能 功能描述 参考文档 存储类型 标准存储 提供高可靠、高可用、高性能的对象存储服务，面向温热数据，适合支持频繁的数据访问。标准存储 低频访问存储 提供高持久性、较低存储成本的对象存储服务。有最小计量单位（64 KB...
X-Engine简介
X-Engine是阿里云数据库产品事业部自研的联机事务处理OLTP（On-Line Transaction Processing）数据库存储引擎。目前已经广泛应用在阿里集团内部诸多业务系统中，包括交易历史库、钉钉历史库等核心应用，大幅缩减了业务成本，同时也作为双...
- 产品推荐
- 这些文档可能帮助您