数据处理概述
OSS通过自主研发和集成智能媒体服务（IMM），为您提供面向图片、文档、媒体、文件等资源20余项专业的数据处理能力。OSS支持的分析处理功能如下：功能模块 说明 相关文档 图片处理 图片处理包括图片缩放、自定义裁剪、图片样式等。图片处理...
AI负载调度
任务队列ack-kube-queue旨在管理Kubernetes中的AI/ML工作负载和批处理工作负载。允许系统管理员使用自定义队列的作业队列管理，以提高队列的灵活性。结合Quota系统，ack-kube-queue自动优化了工作负载和资源配额管理，以便最大化利用集群...
SpringBatch 连接 OceanBase 数据库
略 } 批处理类：AddPeopleDescProcessor 和 AddDescPeopleWriter。用于给 people 添加 desc 属性返回一个 peopledesc 类的处理器 public class AddPeopleDescProcessor implements ItemProcessor,PeopleDESC>{ public PeopleDESC process...
SpringBatch 连接 OceanBase 数据库
略 } 批处理类：AddPeopleDescProcessor 和 AddDescPeopleWriter。用于给 people 添加 desc 属性返回一个 peopledesc 类的处理器 public class AddPeopleDescProcessor implements ItemProcessor,PeopleDESC>{ public PeopleDESC process...
方案实现
外表order_source用于流批处理的SQL执行。DROP TABLE IF EXISTS order_source;CREATE TABLE order_source USING tablestore OPTIONS(endpoint="http://vehicle-test.cn-hangzhou.vpc.tablestore.aliyuncs.com",access.key.id="",access.key...
线性回归
使用时，数据格式如下，其中key的下标应从1开始，value应均为数值：参数设置 参数名称 参数英文名称 参数说明 批处理大小 batch_size 每个小批次的样本数量。batch_size的大小会影响模型的训练速度和泛化能力，通常情况下，较小的batch_...
连接方式概述
OceanBase 客户端（OBClient）OBClient 是一个交互式和批处理查询的命令行工具，支持 OceanBase 数据库的 MySQL 模式租户和 Oracle 模式租户，可以访问 软件中心 进行下载安装。OBClient 在运行时需要指定 OceanBase 数据库租户的连接信息...
连接方式概述
客户端 在连接 OceanBase 数据库的 Oracle 租户时，支持的客户端如下：OceanBase 客户端（OBClient）OBClient 是一个交互式和批处理查询的命令行工具，支持 OceanBase 数据库的 MySQL 模式租户和 Oracle 模式租户，可以访问 软件中心 进行...
新建BLINK_SQL任务
开启批处理需在任务配置页面开启离线模式并进行资源、调度依赖等相关配置。实时模式 资源配置（必选）：配置任务对应的资源队列、引擎版本以及任务的并行度、Task Manager数量、Job Manager Memory和Task Manager Memory信息。配置说明，请...
新建BLINK_SQL任务
开启批处理需在任务配置页面开启离线模式并进行资源、调度依赖等相关配置。实时模式 资源配置（必选）：配置任务对应的资源队列、引擎版本以及任务的并行度、Task Manager数量、Job Manager Memory和Task Manager Memory信息。配置说明，请...
新建Flink_SQL任务
开启批处理需在任务配置页面开启离线模式并进行资源、调度依赖等相关配置。实时模式 资源配置（必选）：配置任务生产环境和开发环境对应的资源队列、引擎版本信息。配置说明，请参见 配置Fusioninsight Flink实时模式资源。时间参数：用于...
新建FLINK_SQL任务
开启批处理需在任务配置页面开启离线模式并进行资源、调度依赖等相关配置。实时模式 资源配置（必选）：配置任务生产环境和开发环境对应的集群、引擎版本以及Job Manager CPUs和Job Manager Memory信息。配置说明，请参见 配置Ververica ...
新建FLINK_SQL任务
开启批处理需在任务配置页面开启离线模式并进行资源、调度依赖等相关配置。实时模式 资源配置（必选）：配置任务生产环境和开发环境对应的集群、引擎版本以及Job Manager CPUs和Job Manager Memory信息。配置说明，请参见 配置Ververica ...
文件处理概述
文件处理是由智能媒体管理IMM提供的对多种文件格式进行压缩、解压等操作的处理能力。您可以将原始文件上传到阿里云对象存储OSS，通过OSS的RESTful数据处理接口 x-oss-process 在任何时间、任何地点、任何互联网设备上对文件进行压缩、解压...
简介
针对OSS内存储的图片文件（Object），您可以在GetObject请求中携带图片处理参数对图片文件进行处理。例如添加图片水印、转换格式等。操作视频 观看以下视频了解如何快速处理图片：处理参数 OSS支持直接使用一个或多个参数处理图片，也支持...
创建倍速转码任务
使用倍速管道，将视频源切分为多个较小的片段后并行转码，可将转码速度提升5~30倍，显著缩短处理耗时。适用于对首发、时效性要求较高的资讯、赛事、重要内容场景。本文为您介绍倍速转码原理及使用方式。背景信息 媒体处理提供离线转码服务...
图像处理
通过图像处理功能，CDN可直接在回源节点对图片进行处理和分发，可减轻源站压力，减少回源流量。阿里云视频点播的图像处理和阿里云OSS的图片处理是两个独立的功能，不能相互混用。阿里云视频点播图像处理提供自适应WebP、图片自动旋转和图片...
文档智能处理
文档智能处理是由智能媒体管理（IMM）提供的针对文档的AI处理功能，包括文档内容翻译、文档内容润色、文档摘要生成、文档续写、文档内容丰富以及文档语气改写六大类。您可以将原始文档上传到阿里云对象存储OSS中，通过OSS的RESTful数据处理...
Kafka实时入湖
数据预处理 Kafka实时入湖提供了数据预处理功能对Kafka数据在入湖前进行处理，目前需要用户自定义预处理算子实现。Kafka默认字段列表 在使用数据预处理功能之前，我们需要清楚Kafka入湖过程中目标schema包含哪些字段，字段列表如下。字段 ...
图片处理
图片处理是OSS提供的海量、安全、低成本、高可靠的图片处理服务。原始图片上传到OSS后，您可以通过简单的RESTful接口，在任何时间、任何地点、任何互联网设备上对图片进行处理。注意事项 使用本文示例前您需要先通过自定义域名、STS等方式...
图片处理
图片处理是OSS提供的海量、安全、低成本、高可靠的图片处理服务。原始图片上传到OSS后，您可以通过简单的RESTful接口，在任何时间、任何地点、任何互联网设备上对图片进行处理。使用方法 图片处理使用标准的HTTP GET请求。您可以在URL的...
图片处理
图片处理是OSS提供的海量、安全、低成本、高可靠的图片处理服务。原始图片上传到OSS后，您可以通过简单的RESTful接口，在任何时间、任何地点、任何互联网设备上对图片进行处理。图片处理使用 图片处理使用标准的HTTP GET请求。您可以在URL...
使用API在K8s集群中金丝雀发布应用
返回结果如下：{"Message":"success","RequestId":"7BB4F043-7C28-4A0E-B6A5-D4023EB24388","Code":200 } 说明 示例代码中使用的是 首批灰度发布2个Pod实例+剩余Pod实例分2批发布+手动分批 的金丝雀发布策略，运行到剩余批次发布过程，只...
常见问题
访问VPC环境下的数据库测试连通性失败，该如何处理？数据源连通性有时成功，有时失败，如何处理？已经购买独享资源组，但在数据源测试连通性时或任务执行时找不到该资源组怎么办？如何通过日志查看任务执行在什么资源组类型上？如何切换...
数据准备
训练数据需要按照NLP自学习平台定义好的格式进行处理，以JSON为例，您需要将每一条数据处理成如下格式：{"1":{"content":"这个牌子的红枣很不错","records":{"情感":"正"} } } 文本的内容放在“content”中，而标签的内容放在“records”中...
MaxCompute数据离线同步至ClickHouse
如果读取到的数据达到攒批的字节数上限或条数上限，则认为攒够一批，每攒够一批则写入一批数据到ClickHouse。批量插入字节大小建议值为16777216（16MB），批量插入条数建议按照您单条记录的大小调整为一个较大值，从而依靠批量插入字节大小...
OSS投递（新版）
时间分区 OSS投递是攒批进行，每次写一个文件，文件内包括一批数据，文件路径由该批数据中最小的receive_time（数据到达日志服务的时间）决定。文件格式 数据被投递到OSS后，支持存储为CSV、JSON、Parquet、ORC四种文件格式。更多信息，请...
使用API在ECS集群中回滚应用到目标历史版本
目前支持多种升级应用的方式，请根据实际需求选择：使用API在ECS集群中单批发布应用 使用API在ECS集群中分批发布应用 金丝雀发布（ECS集群）调用 ListHistoryDeployVersion 接口查询应用历史版本列表，获取目标历史版本的 PackageVersion，...
支持的连接器
云数据库Redis×流模式 SQL 是 Upsert Kafka√流模式 SQL 是 Elasticsearch√流模式和批模式 SQL和DataStream 是 云原生数据仓库 AnalyticDB MySQL版 3.0×流模式和批模式 SQL 是 ClickHouse×流模式和批模式 SQL 是 Print×流模式和批模式...
参考：渐进式计算
渐进式计算（Progressive Computing）是处于传统的流计算和批处理之间的一种计算方式，具有高资源利用率和低延迟的优势。本文为您介绍渐进式计算的基础配置、作业调优配置以及使用示例。背景信息 渐进式计算能够处理增量数据并维护中间结果...
ODPS-0123144
默认情况下UDF处理数据的时间是有限制，在处理一批（通常情况下为1024条）记录时，必须在1800秒内处理完。这个时间限制并不是针对Worker的总运行时间，而是处理一小批记录的时间。通常情况下SQL处理数据的速率超过了万条/秒，该限制只是...
常见术语
云原生数据湖分析（简称DLA）是新一代大数据解决方案，采取计算与存储完全分离的架构，支持数据库（RDS\PolarDB）与消息实时归档建仓，提供弹性的Spark与Presto，满足在线交互式查询、流处理、批处理、机器学习等诉求，也是传统Hadoop方案...
简介
批量计算服务（Batch Computing Service，简称BatchCompute）是一种适用于大规模并行批处理作业的分布式云服务。我们提供了丰富的API接口，您可以基于此API很方便使用BatchCompute的服务以及开发自己的应用程序。请确保在使用这些接口前，...
产品优势
DLA提供弹性的Spark与Presto，满足在线交互式查询、流处理、批处理、机器学习等诉求，也是传统Hadoop方案上云的有竞争力的解决方案，其中弹性是DLA最为核心的竞争力。弹性能力 Spark CU版弹性：按照Job实际使用弹出资源，只对实际运行的...
MaxCompute UDF（Java）常见问题
默认情况下UDF处理数据的时间是有限制，在处理一批（通常情况下为1024条）记录时，必须在1800秒内处理完。这个时间限制并不是针对Worker的总运行时间，而是处理一小批记录的时间。通常情况下SQL处理数据的速率超过了万条/秒，该限制只是...
智能生成·批量白底图
适用场景 商品图片批量处理（适用尺寸：500x500、800x800、1000x750、1280x800）。可配合“智能生成”使用。目前批量白底图限时免费下载，欢迎使用；操作方法“智能生成”界面中，选择“批量白底图”功能。1、点击“+”号，将事先拍好的...
批量添加域名
批量任务提交后，任务处理结果可在 批量操作记录 页签下，单击 下载详情日志 查看任务执行详细结果。文件导入域名 登录 云解析DNS控制台。在 域名解析 页面，权威域名 页签下，单击 批量操作 按钮。选择 批量添加域名 页签，选中 文件导入...
URL批量拉取上传
当文件没有存储在本地服务器或终端时，需要通过公网访问URL地址上传。用户指定媒体的URL地址，视频点播通过封装好的接口拉取上传。本文介绍URL批量拉取上传的使用说明及相关文档。使用说明 视频点播提供一个封装好的服务，帮助开发者将媒体...
批量操作
批量操作主要是对一批客户进行批量操作，通过添加操作对象（以文件的形式上传需要操作的客户数据），然后对这些客户进行设置批量操作，包括：添加标签、移除标签、发放优惠券。同时也可以查看每次批量操作的详细信息，包括：操作对象、操作...
Flink Table Store概述
Flink Table Store是一个流批统一的湖存储格式，支持高吞吐的写入和低延迟的查询。Flink Table Store具有以下核心功能：支持在流模式与批模式下读写大规模数据集。支持秒级数据新鲜度的批查询和OLAP查询。支持消费与产生增量数据，可作为...
- 产品推荐
- 这些文档可能帮助您