调用问题
如有扩展需求，请与我们联系钉钉群号：23369411 产品名称 QPS 通用版翻译引擎 50 专业版翻译引擎 50 定制版翻译引擎 3 文档翻译 5 通用图片翻译 20 电商图片翻译 20 身份证翻译 10 驾照翻译 40 语种识别 50 跨境电商语言工具（商品图片智能...
SDK安装与使用
本文介绍如何获取SDK以及使用SDK提交Spark作业。获取SDK 您可以在Maven Repository中获取数据湖分析最新的SDK包，获取地址 Maven SDK地址。groupId>...
提交作业
批量计算目前支持命令行，控制台和SDK提交作业，本文介绍将作业提交到批量计算的相关操作。提交作业的方法 使用命令行 bcs sub"python test.py"-p./test.py 该命令会将 test.py 文件打包成 worker.tar.gz 并上传到指定位置，然后再提交作业...
操作指导
本文为您介绍实时计算Flink版的操作指导方面的常见问题，包括控制台操作、网络连通性和JAB包等问题。控制台操作 登录实时计算控制台提示当前账号缺少权限 如何在OSS控制台上传JAR包？如何配置作业运行参数？如何开启GC日志？如何查找引发告...
按登录方式授权
实时计算Flink版支持阿里云账号、阿里云RAM用户、阿里云RAM角色、资源目录成员方式登录并访问实时计算控制台，以及进行作业开发和运维。不同登录方式下需要被授权的主体（身份或账号）可能不同，本文通过示例为您介绍不同登录方式下，访问...
SDK安装与使用
确定执行任务的虚拟集群名称和JSON内容，您可以首先尝试在控制台提交作业,其后根据下图确定输入和返回的内容。使用SDK提交作业的代码如下所示：def submit_spark_job(region:str,access_key_id:str,access_key_secret:str,cluster_name:str...
监控与报警
作业（任务）维度 监控指标 描述 CPU使用率（作业维度）指定作业的CPU使用百分比。内存使用率（作业维度）指定作业的内存使用百分比。磁盘读取数据量（作业维度）指定作业的磁盘读取数据量（MB）。磁盘写入数据量（作业维度）指定作业的...
数据传输自定义权限策略参考
如果RAM提供的系统策略无法...DescribeSynchronizationJobs 查看同步作业详情 DescribeSynchronizationJobs DescribeSynchronizationJobStatus 修改同步作业名称 DescribeSynchronizationJobs ModifySynchronizationObject 查看同步作业配置 ...
项目空间授权
当希望多个用户能够共同使用Flink下的某项目空间，在Flink开发控制台进行作业开发、运维等相关操作时，需要通过添加目标账号为成员的方式完成项目空间授权。本文为您介绍如何添加成员，以及成员绑定不同角色时的功能差异。注意事项 如果您...
管理项目空间
项目空间是Flink管理作业的基本单元，您的配置、作业、权限均在单个项目空间下进行。每个工作空间都有默认的项目空间（工作空间名称-default）。您可以添加多个项目空间，实现多租户通过项目空间进行资源和权限的隔离。本文为您介绍如何...
按量付费闲时版
可通过MaxCompute控制台的作业运维功能查看历史作业和正在运行的作业，详情请参见 作业运维（新版）；通过MaxCompute控制台的Quota管理功能查看闲时计算资源的消耗情况，详情请参见 查看Quota消耗。说明 暂不支持查看查询加速作业的资源...
操作指南概述
流程说明 您可以通过MPS控制台、调用各类提交作业的SDK/API，或配置工作流后通过触发工作流提交异步任务。提交成功后，任务会进入管道中进行排队，在并发内根据优先级和提交顺序依次被调度执行。所以在接口返回时，不保证任务已经完成。您...
调度DLA Spark任务
自定义任务编排调度 DLA Serverless Spark除了上述调度集成之外，还提供了SDK以及Spark-Submit工具用于提交Spark作业、查询作业状态、获取作业日志等功能，详情请参见：SDK安装与使用 Spark-Submit命令行工具 您可以利用上述工具，使用第三...
在Serverless集群中提交作业
创建Serverless集群后，您可以在集群中提交作业，系统会自动创建ECI实例来运行作业。本文介绍如何在Serverless集群中提交作业。背景信息 在Serverless集群中提交作业后，系统会自动创建ECI实例来运行作业。一个ECI实例主要包含以下几部分...
作业调试
背景信息 您可以在Flink开发控制台使用作业调试功能本地验证作业逻辑的正确性，而不会将数据实际写入您生产的下游中（无论您使用什么样的结果表）。使用调试功能时，您可以使用上游的线上数据或指定调试数据。调试可以包含多个SELECT或...
2021年
新功能 安装Package后，如果您需要对Package进行更细微的权限控制，例如控制只能访问Package内的部分资源或控制只能访问Package内表的部分列，您可以通过MaxCompute提供的细粒度授权或LABEL授权实现。Package的权限控制 2021-03-12 支持...
使用高性能容器应用
通过高性能容器应用，您可以在E-HPC集群上通过高性能容器应用启动高性能计算作业，从而降低业务部署的复杂性。高性能容器应用在支持E-HPC全部原有能力（如弹性伸缩、性能监控等）的基础上，可为您提供更加高效和便捷的计算解决方案。本文...
概述
在工业物联网场景中，企业需要把现场传感器采集的数据通过网络实时传输到云上的业务系统，对作业环境、设备运行情况进行实时监控和预测性维护。此时可以通过阿里云物联网平台，以MQTT协议方式传输，以适应设备规模增长和实时性、稳定性需求...
通用文本向量模型
模型简介 通用文本向量，是通义实验室基于LLM底座的多语言文本统一向量模型，面向全球多个主流语种，提供高水准的向量服务，帮助开发者将文本数据快速转换为高质量的向量数据。模型中文名 模型英文名 向量维度 单次请求文本最大行数 单行...
如何提交作业
使用控制台提交作业 打开 提交作业 页面。按照表单提示，填写作业名称：first_job。拖拽一个任务，按照下图填写表单,其中ECS镜像ID可以从这里获取：使用镜像 然后点击下面的 提交作业 按钮,即可提交成功。提交成功后，自动跳转到作业列表...
2020年
2020-12-21 所有区域 项目级别Information Schema 运行中作业快照Information_Schema.Tasks内测发布 以Information_Schema.Tasks视图方式，提供当前运行中作业的详细信息，包括作业列表以及各作业CPU、内存使用大小和资源占比、运行时长等...
数据类型
Active：表示管道内的作业会被调度给转码系统转码，Paused：表示管道暂停，作业不再会被调度到转码系统，管道内的所有作业状态维持在已提交状态，正在执行的作业不受影响，继续进行。NotifyConfig String MNS通知配置。AliyunMediaInfoJob ...
作业超时监控告警
MaxCompute支持通过配置阈值报警规则，监控作业运行时长。当作业运行超时后，系统会将报警信息发送至报警联系人，助力及时识别异常作业，提升运维效率。本文为您介绍作业超时报警的监控指标、配置方法及处理报警方式。前提条件 在配置作业...
公告
此功能对应MaxCompute管理控制台的 作业运维，作业运维 已经全部覆盖原有能力，详情请参见 作业运维（新版）。优化推荐（部分区域支持）：在DataWorks的数据治理已经全部覆盖原有能力，包括任务持续空输出、持续全表扫描以及适合启用动态...
实时数据集成（Flink版）
SQL作业开发：在阿里云实时计算控制台的 SQL开发 中新建流作业模板，编写作业信息，进行更多配置和深度检查后，完成调试和部署。本文以物联网设备上传物模型属性通过Flink任务流转到log文件为例，结合 Print 连接器接收并打印数据输入记录...
Logview诊断实践
在实际业务开发过程中，企业通常要求作业能在期望的时间节点前产出结果，并根据结果做进一步决策，这就需要作业开发人员及时关注作业运行状态，识别并优化慢作业。您可以通过MaxCompute的Logview功能诊断慢作业。本文为您介绍导致出现慢...
统计信息
FE配置项 默认值 说明 analyze_record_limit 20000 控制统计信息作业执行记录的持久化行数。stats_cache_size 500000 FE侧统计信息缓存条数。statistics_simultaneously_running_task_num 3 可同时执行的异步作业数量。statistics_sql_mem_...
2023年
当您遇到作业运行较长时间仍未结束、或当作业运行结束后发现 作业运行时长不达预期（作业运行慢）时，您可以通过作业分析的资源消耗页签查看是否为计算资源紧张、多作业资源抢占导致，然后依据实际业务情况优化任务执行情况，进行作业优先...
功能发布记录
统一语言：新增统一语言功能（项目级作用范围），支持DDD中统一语言的概念。领域事件：支持领域事件定义属性、新增领域事件消费者。领域事件：支持领域事件定义属性。领域事件消费者：新增领域事件消费者定义。模型导入导出（Excel）：支持...
用户管理
对于无法使用 SDK的应用，如一个Python应用或一个Go语言应用等等，开发者需要结合自己所使用的HTTP客户端库拼装用于访问TSDB服务的HTTP连接时，对HTTP请求的Header中加入 Authorization 字段，并基于 RFC 2617 定义的基本认证格式，组装 ...
功能特性
自定义词典 计算引擎 作业开发 Lindorm计算引擎支持多种作业开发方式，提交的每一个作业（JDBC作业、JAR作业、Python作业等），都可以自定义资源配置项，包括资源规格配置项和资源规模配置项。作业开发 数据访问 Lindorm计算引擎支持访问和...
基本概念
应用/App 基因分析应用，使用流程描述语言（如 Workflow Description Language，WDL）编写的标准的、参数化的生物信息分析流程，清晰定义了分析的输入输出、运行环境和软件依赖等，通常包含多个具有依赖关系的分析步骤。平台提供中心化的...
Cassandra
具体请参考 多语言SDK访问（公网&内网）。在Cassandra实例中已创建数据表，并插入数据。具体请参考 使用cqlsh访问cassandra。参考命令样例如下：CREATE KEYSPACE spark WITH replication={'class':'SimpleStrategy','replication_factor':1...
SubmitMediaInfoJob-提交媒体信息作业
提交媒体信息作业。调用本接口之后媒体处理MPS会对输入文件进行媒体信息分析，返回输入文件的媒体信息。接口说明 请确认文件已成功上传至 OSS 后再提交媒体信息作业，否则会导致执行失败。您可通过 配置 OSS 回调消息确认文件上传状态。...
2023年
GetRunningJobs-获取运行态的作业列表 2023-08-24 新增GetJobResourceUsage-获得作业执行者级别的资源使用列表 新说明 指定时间范围内，针对已结束的全部作业进行统计，以“天”为级别展示作业执行者级别的资源使用总量。...
大数据实时计算性能调优服务
基于运行情况中出现的反压，进行作业调优，直至数据能稳定健壮运行起来，涉及 DDL的调优：检查客户异常作业代码的DDL建表语句，通过增加批量参数等方法，优化作业任务性能。作业代码调优：重点针对去重、groupby等窗口、聚合场景识别热点...
通过控制台管理作业
本文介绍通过 云原生多模数据库 Lindorm 控制台管理计算引擎作业，包括创建、查看和终止Spark作业。前提条件 已开通计算引擎。如何开通，请参见 开通与变配。已完成作业开发。如何开发，请参见 JAR作业开发实践 或 Python作业开发实践。已...
使用镜像
提交作业或者创建集群时，需要指定BatchCompute...创建（提交）作业时指定 使用控制台创建（提交）作业时指定镜像ID：使用 Java SDK 请看 如何创建（提交）作业。使用 Python SDK 请看 如何创建（提交）作业。使用命令行请看 如何提交作业。
Flink JAR作业快速入门
本文带您快速体验Flink JAR流作业和批作业的创建、部署和启动，以了解实时计算Flink版JAR作业的操作流程。前提条件 如果您使用RAM用户或RAM角色等身份访问，需要确认已具有Flink控制台相关权限，详情请参见 权限管理。已创建Flink工作空间...
Flink Python作业快速入门
本文带您快速体验Flink Python流作业和批作业的创建、部署和启动，以了解实时计算Flink版Python作业的操作流程。前提条件 如果您使用RAM用户或RAM角色等身份访问，需要确认已具有Flink控制台相关权限，详情请参见 权限管理。已创建Flink...
- 产品推荐
- 这些文档可能帮助您