网站建设方案书
下表列出了备案主体为个人和企业时，需要提供网站建设方案书的场景：备案主体 前缀不一致的域名数量 要求 企业 大于31个（不包含31个）需提供每个域名的网站建设方案书，以及加盖备案专用章的阿里云保证书。相同前缀域名可以不用提供。个人...
作业智能诊断
Flink Advisor作业智能诊断服务能够帮您监控作业健康状况，分析和诊断错误日志、异常运行和风险情况，并提供可理解和可操作的诊断建议，全面保障您的业务稳定可靠运行。本文为您介绍如何使用作业智能诊断服务。背景信息 Flink Advisor作业...
迁移方案
本文为您介绍从原有集群（线下IDC自建集群或ECS自建）迁移Flink作业到DataFlow集群的整体流程，包括准备工作，如何迁移作业，以及常见问题等。背景信息 EMR集群的基础信息，请参见 集群规划。准备工作 集群规划 创建DataFlow集群时，集群...
计算资源使用
作业类型取值如下：SQL：SQL作业 SQLRT：查询加速SQL作业 SQLCost：SQL预估作业 LOT：MapReduce作业 CUPID：Spark或Mars作业 AlgoTask：机器学习作业 作业优先级 输入需要配置到规则里的作业优先级。输入 0-9 优先级区间，如：[0,3]表示...
使用成本优化功能实现降本增效
典型场景一：包年包月计算资源闲置，计算成本高 某公司在数仓建设初期，公司预算充足，且为了确保凌晨一批重要作业在上午八点产出，购买了 包年包月预留 计算资源 200CU 供作业使用，每天有520个作业固定运行在这些资源上，每天作业都可以...
认识MaxCompute Studio
Studio会自动为每一个项目连接建立一个本地的元数据备份，以提高对MaxCompute元数据的访问频率和降低延时。连接MaxCompute项目详情请参见 管理项目连接。数据管理 您可以通过Studio的 项目浏览器 快速浏览项目的表或视图、自定义函数、资源...
操作指导
如何配置作业运行参数？如何开启GC日志？如何查找引发告警的作业？如何查看工作空间ID等信息？如何查看AccessKey ID和AccessKey Secret信息？如何查看当前作业的Flink版本？如何关闭系统自动开通的Prometheus监控服务？网络连通性 如何设置...
基本概念
您可以在NIS服务器上建立用户，当新节点加入到NIS中时，便可以使用NIS服务器中的用户来登录这个节点，而不需要在每个节点上都建立同样的用户。LDAP：轻型目录访问协议（Lightweight Directory Access Protocol），在E-HPC中，LDAP被用来对...
集群概述
对于不同规模的集群，建议的管控节点配置和作业执行数量如下：集群规模 管控节点配置建议 作业建议 计算节点数≤100个 vCPU≥16核 内存≥64 GiB 排队作业数量条 未完成作业数量条 计算节点数≤500个 vCPU≥32核 内存≥128 GiB 排队作业数量...
2023-06-21版本
平台侧将进行多项常用功能的改版，主要集中在审计日志、Kerberos支持、监控告警增强等能力的建设，优化了部分页面的展示和体验。我们将在两周内在全网进行分步骤的灰度，灰度完毕后的客户和区域平台能力将完成升级，并且可以在作业选择引擎...
授予RAM账号细粒度访问DLA的权限
被授权用户无权进行如下操作：查看其他用户作业的详细日志信息。终止其他用户提交的作业。提交代码给其他用户的交互式作业。策略内容如下：{"Version":"1","Statement":[{"Action":["openanalytics:ConsolePermission","openanalytics:...
SQL其他常见问题
由于复杂结构的超大字段在数据开发和分析中会严重影响计算性能，因此建议根据数据仓库建设规范来设计您的数据架构，避免出现超大字段：具有复杂结构的原始数据，作为ODS层，最好以压缩的方式归档。定时（例如每天）对ODS层的增量数据做数据...
上下游存储
Flink和Kafka客户端（Flink Kafka Connector）之间建立连接分为两个步骤：Kafka客户端拉取Kafka服务端（Kafka Broker）元信息，包括Kafka服务端所有Broker的网络地址。Flink使用Kafka客户端拉取下拉的Kafka服务端网络地址来消费或者写入...
视频DNA
应用场景 视频查重 建立独立视频DNA库，在该库中对样本视频完成快速比对，实时召回重复视频或重复片段。防止内容分发和个性化推荐时，出现过多相同或相似视频而影响用户体验。原创识别 准确识别是否为原创视频、编辑变换后视频、自媒体再...
CREATE TABLE AS（CTAS）语句
此类场景可以使用宽容模式同步，即在CTAS作业启动时在下游系统建立类型更加宽泛的表，在列类型变更发生时判断该类变更下游Sink是否可以接受来实现宽容的列类型变更支持，详情请参见 示例八：CTAS语句使用字段类型宽容模式同步数据到...
准备数据源和计算源
在使用Dataphin前，您需要选择符合业务场景需求的数据库或数据仓库作为数据源，用于读取原始数据和写入数据建设过程中的数据；同时您需要准备MaxCompute项目、Flink项目作为Dataphin的计算源，为数据的研发提供计算资源。准备数据源 ...
功能发布记录
2023-10-23版本 2023.06.21 进行多项常用功能的改版，主要集中在审计日志、Kerberos支持、监控告警增强等能力的建设，优化了部分页面的展示和体验。2023-06-21版本 2023.04.13 进行多项常用功能的改版，更改了产品控制台的一级目录和作业...
Paimon外部表
MaxCompute支持通过创建Paimon外部表来与存储在OSS上的Paimon表目录建立映射关系，并访问其中的数据。本文将介绍如何创建Paimon外部表并通过MaxCompute访问Paimon外部表。背景信息 Apache Paimon是一种流批一体的湖存储格式，具备高吞吐的...
准备数据源和计算源
在使用Dataphin前，您需要选择符合业务场景需求的数据库或数据仓库作为数据源，用于读取原始数据和写入数据建设过程中的数据；同时您需要准备MaxCompute项目、Flink项目作为Dataphin的计算源，为数据的研发提供计算资源。准备数据源 ...
核心概念的层次结构
部门B创建了项目B，项目B没有开启按Schema存储，所以项目下直接存储了表3、表4、视图1和资源1，关联了默认后付费Quota，部门B的用户B被授予了项目B数据的访问权限，并且可以发起作业，所有作业默认使用的计算资源为默认后付费Quota。
管理工作流
工作流是通过拖拽任务节点并建立任务节点之间的关联来创建可视化的DAG（有向无环图）。如果您需要安排任务在指定的时间运行，可以创建工作流并在工作流中定义调度节点以及调度策略。本文为您介绍如何创建和运行工作流。使用限制 仅已部署的...
大数据上云及巡检服务内容说明
根据乙方提供的需求调研表格，提供现有业务概况，如所用组件，数据源类型，数据源数量，迁移作业数，作业类型,作业运行方式，了解用户迁移所用阿里云组件，数据迁移方式（存量迁移方式/增量迁移方式），作业迁移方式，一致性校验标准等作为...
Blink和Flink常见问题及诊断
其他使用连接的场景 作业启动过程中，需要建立连接用于表元数据的验证等工作，可能会暂时使用3至6个连接，作业正常运行后会释放。Flink全托管支持Hologres Catalog、CTAS以及CDAS等功能，使用这些功能也会占用连接数。默认情况下，一个使用...
2022年
如Project内某些作业占用大量资源会影响整体项目作业时效（如数据回刷作业占大量资源但时效要求不高、某些占用大量资源且时效要求高的算法作业），需要进行Quota隔离指定资源进行计算，可以通过Use Quota功能直接指定，无需单独创建Project...
API概览
InsertMediaToSearchLib 插入媒资到搜索库 插入媒资到搜索库，需要提前建立好搜索库。UpdateMediaToSearchLib 更新媒资到搜索库 在搜索库中更新媒资信息。DeleteMediaFromSearchLib 删除媒资从搜索库 在搜索库中删除指定媒资。...
简介
渲管建立在阿里云 BatchCompute、OSS 和 ECS 的三个云产品基础之上的。详细介绍请参考官网，在使用渲管前，请确保已开通此三产品。BatchCompute 是阿里云上的批量计算服务，可以帮助用户进行大规模并行计算。OSS 是阿里云上的对象存储服务...
创建集群模板
在使用数据开发工作流完成作业任务时，如果您只关注作业任务是否完成，可以使用集群模板功能来快速建立集群，调度系统会在工作流启动时按照模板创建一个集群，然后将作业下发到该集群上执行。当工作流结束后，调度系统会自动释放该集群。...
通用环境变量列表
PyTorch环境变量 在PyTorch分布式训练框架中，Master和Worker扮演不同的角色并需要相互建立连接以进行通信。在DLC中，一系列环境变量被用于同步关键信息，例如将Master的地址和端口号传递给Worker。DLC为PyTorch训练配置的一些通用环境变量...
视频DNA
视频查重：建立独立视频DNA库，在该库中对样本视频完成快速比对，实时召回重复视频或重复片段。防止内容分发和个性化推荐时，出现过多相同或相似视频而影响用户体验。快速审核：通过维护违规视频库或自定义黑库，对增量视频，快速进行DNA...
使用示例
} …… …… } 步骤五：更新任务下作业状态 设备获取任务信息后，执行任务下的作业操作后，需向物联网平台返回作业状态。调用 aiot_task_update，向物联网平台发起上报作业状态的请求。上报任务状态时，您需注意：上报作业状态消息的数据...
功能特性
自定义词典 计算引擎 作业开发 Lindorm计算引擎支持多种作业开发方式，提交的每一个作业（JDBC作业、JAR作业、Python作业等），都可以自定义资源配置项，包括资源规格配置项和资源规模配置项。作业开发 数据访问 Lindorm计算引擎支持访问和...
API接口常见问题
需要检查自己建立的RocketMQ实例是否为公网实例，如果所建RocketMQ实例非公网实例则无法获取外呼任务完成的消息队列信息 10、获取作业组状态，需要调用哪个接口？作业组状态又有哪些？获取作业组状态接口为DescribeJobGroup，作业组状态...
PySpark
本文展示如何提交PySpark作业以及使用自定义Virtualenv。重要 云原生数据湖分析（DLA）产品已退市，云原生数据仓库 AnalyticDB MySQL 版 湖仓版支持DLA已有功能，并提供更多的功能和更好的性能。AnalyticDB for MySQL 相关使用文档，请参见...
MySQL整库同步Kafka
在使用中，同一张MySQL表可能被多个作业依赖，当多个任务使用同一张MySQL表做处理时，MySQL数据库会启动多个连接，对MySQL服务器和网络造成很大的压力。为了缓解对上游MySQL数据库的压力，阿里云Flink实时计算已提供MySQL整库同步到Kafka的...
Flink全托管
Hologres与Flink全托管高度兼容，支持Hologres源表、维表和结果表，以及Catalog等功能，满足一站式实时数仓建设。本文为您介绍如何使用Hologres作为Flink全托管的上下游存储。Hologres源表、维表和结果表 在Flink全托管中支持Hologres源表...
配置Alibaba Blink实时模式资源
在智能配置模式下，您无需配置相关资源，AutoPilot会自动为作业生成资源配置，并根据作业的运行情况帮您进行资源配置的调优，在确保作业处于健康的状态下，优化作业资源的使用。AutoPilot详情请参见 配置自动调优。自定义配置 即实时计算...
配置Alibaba Blink实时模式资源
在智能配置模式下，您无需配置相关资源，AutoPilot会自动为作业生成资源配置，并根据作业的运行情况帮您进行资源配置的调优，在确保作业处于健康的状态下，优化作业资源的使用。AutoPilot详情请参见 配置自动调优。自定义配置 即实时计算...
作业运维（新版）
MaxCompute作业运维功能支持查看历史作业和正在运行的作业，方便您了解作业运行详情及分析作业运行时的资源负载情况，帮助您对作业进行运维管理。功能介绍 MaxCompute的作业运维功能支持查看并运维您当前项目下 历史作业和正在运行的作业。...
作业编辑
背景信息 本文为您提供作业编辑的相关操作，具体如下：新建作业 设置作业 在作业中添加注解 运行作业 作业可执行操作 作业提交模式说明 前提条件 已创建项目或已被加入到项目中，详情请参见 项目管理。新建作业 进入数据开发的项目列表页面...
管理作业模板
通过作业模板，您无需配置作业参数，即可快速创建作业，提高工作效率。本文介绍如何创建、使用、编辑、删除作业模板。创建作业模板 创建作业模板时，一个地域下最多可创建20个作业模板。登录 弹性高性能计算控制台。在顶部菜单栏左上角处，...
- 产品推荐
- 这些文档可能帮助您