上下游存储
全量MaxCompute和增量MaxCompute源表作业是否支持暂停作业后修改并发数，再恢复作业？作业启动位点设置了2019-10-11 00:00:00，为什么启动位点前的分区也会被全量MaxCompute源表读取？增量MaxCompute源表监听到新分区时，如果该分区还有...
功能与优势
Flink SQL简单易懂，整体开发环境上手便捷。多版本支持：支持主流Flink版本，包括多版本作业代码比较和回滚。提供元数据管理：您可以通过Catalog连接常见的上下游组件（例如MySQL、Hive、Hologres、DLF和Kafka等），进行统一元数据管理与...
公告
此功能对应MaxCompute管理控制台的 作业运维，作业运维 已经全部覆盖原有能力，详情请参见 作业运维（新版）。优化推荐（部分区域支持）：在DataWorks的数据治理已经全部覆盖原有能力，包括任务持续空输出、持续全表扫描以及适合启用动态...
Spark常见问题
作业报错 运行Spark作业时，报错User signature dose not match，如何解决？运行Spark作业时，报错You have NO privilege，如何解决？运行Spark作业时，报错Access Denied，如何解决？运行Spark作业时，报错No space left on device，如何...
基于Flink+Hologres搭建实时数仓
购买实例后，需要创建order_dw数据库和用户（为用户赋予admin权限），推荐使用简单权限模型创建数据库，详情请参见 简单权限模型的使用 和 DB管理。如果在 被授权账号 的下拉列表找不到对应的账号，则说明该账号并未添加至当前实例，您需要...
数据导入常见问题
H"columns:NO,DATE_1,VERSION,PRICE,DATE=LEFT(DATE_1,6)"DATE_1 可以简单地看成先占位进行取数，然后通过 LEFT()函数进行转换，赋值给StarRocks表中的 DATE 列。需要注意的是，必须先列出CSV文件中所有列的临时名称，然后再使用函数进行...
开发ODPS Spark任务
MaxCompute Spark作业可通过 Local模式、Cluster模式 执行，此外，您也可在DataWorks中运行MaxCompute Spark离线作业（Cluster模式），以便与其它类型执行节点集成和调度。本文为您介绍如何通过DataWorks实现MaxCompute Spark作业的配置与...
灵骏智算资源组使用指南
描述 对资源配额进行简单的描述，以区分不同的资源配额。来源类型 支持以下两种配置：专有资源组：选择资源池中的资源组，将从该资源组中分配资源。已有资源配额：从已有的资源配额中分配资源。来源 选择已创建的专有资源组或资源配额。...
计算成本控制
当您发现MaxCompute账单持续上涨，而且成本变得难以管理时，您可以从计算作业着手，通过对SQL作业和MapReduce作业的优化而减少计算成本。本文为您介绍SQL作业和MapReduce作业计算成本的控制方法。预估计算成本 您可以在计算前对计算成本...
开发ODPS Spark任务
MaxCompute Spark作业可通过 Local模式、Cluster模式 执行，此外，您也可在DataWorks中运行MaxCompute Spark离线作业（Cluster模式），以便与其它类型执行节点集成和调度。本文为您介绍如何通过DataWorks实现MaxCompute Spark作业的配置与...
基于Paimon的数据库实时入湖快速入门
本文通过Paimon Catalog和MySQL连接器，将云数据库RDS中的订单数据和表结构变更导入Paimon表中，并使用Flink对Paimon表进行简单分析。背景信息 Apache Paimon是一种流批统一的湖存储格式，支持高吞吐的写入和低延迟的查询。目前阿里云实时...
示例项目使用说明
MapReduce WordCount：单词统计 Hive sample.hive：表的简单查询 Pig sample.pig：Pig处理OSS数据实例 Spark SparkPi：计算Pi SparkWordCount：单词统计 LinearRegression：线性回归 OSSSample：OSS使用示例 MaxComputeSample：MaxCompute...
基于Flink+Hologres搭建实时数仓
单击左侧导航栏的 作业运维，单击刚刚部署的ODS作业 操作 列的 启动，选择 无状态启动 启动作业。向计算组加载数据。Table Group是Hologres中数据的载体。使用read_warehouse_1查询order_dw数据库中Table Group（本示例为order_dw_tg_...
DLA Lakehouse实时入湖
随着数据湖的应⽤越来越多，⼤家发现依赖数据湖最原始的能力，仅仅做简单的存储和分析，往往会遇到很多的问题。比较典型的痛点如下：多源头数据需要统⼀存储管理，并需要便捷的融合分析。源头数据元信息不确定或变化大，需要⾃动识别和管理...
基本概念
常见类型：提交媒体信息作业、提交转码作业、查询转码作业、提交截图作业、提交智能生产作业、提交智能标签作业、提交媒体审核作业、提交视频DNA作业、提交视频版权水印作业等。提交任务：提交方式：支持使用MPS控制台、调用各类提交作业的...
从PolarDB-X同步至AnalyticDB for PostgreSQL
分析型数据库PostgreSQL版（原HybridDB for PostgreSQL）为您提供简单、快速、经济高效的PB级云端数据仓库解决方案。通过数据传输服务DTS（Data Transmission Service），您可以将 PolarDB-X 同步至AnalyticDB for PostgreSQL，帮助您快速...
FE参数配置
max_running_rollup_job_num_per_table 默认值：1 是否可以动态配置：true 是否为Master FE节点独有的配置项：true 说明：控制Rollup作业并发限制。dynamic_partition_enable 默认值：true 是否可以动态配置：true 是否为Master FE节点独有...
PolarDB MySQL版间的单向同步
PolarDB是阿里巴巴自主研发的下一代关系型分布式云原生数据库，可完全兼容MySQL，具备简单易用、高性能、高可靠、高可用等优势。通过数据传输服务DTS（Data Transmission Service），您可以实现 PolarDB MySQL版 集群间的单向数据同步。...
PolarDB MySQL版间的单向同步
PolarDB是阿里巴巴自主研发的下一代关系型分布式云原生数据库，可完全兼容MySQL，具备简单易用、高性能、高可靠、高可用等优势。通过数据传输服务DTS（Data Transmission Service），您可以实现 PolarDB MySQL版 集群间的单向数据同步。...
从RDS MySQL同步至PolarDB MySQL版
PolarDB是阿里巴巴自主研发的下一代关系型分布式云原生数据库，可完全兼容MySQL，具备简单易用、高性能、高可靠、高可用等优势。通过数据传输服务DTS（Data Transmission Service），您可以将RDS MySQL同步至 PolarDB MySQL版。前提条件 已...
从ECS上的自建MySQL同步至PolarDB MySQL版
PolarDB是阿里巴巴自主研发的下一代关系型分布式云原生数据库，可完全兼容MySQL，具备简单易用、高性能、高可靠、高可用等优势。通过数据传输服务DTS（Data Transmission Service），您可以将自建的MySQL数据库同步至 PolarDB MySQL版，...
网站制作客户注意事项
本文为网站制作过程中，客户需要注意的事项介绍。项目制作过程中所有环节都会在交付中心体现，本项目流程分为需求确认、原型阶段、视觉设计、内页美化四个环节。重要 为了确保项目顺利进行，尽快完成上线，项目流程中的每个环节确认会有...
四川备案规则
个人网站名称命名注意事项请参见 个人网站命名要求。ICP备案所需资料 证明文件电子版（非必选）：非本省证件需上传学生证、社保证明、在职证明、居住证等证明。个人有效证件原件电子材料，如身份证原件彩色拍照照片等，若证件类型为身份证...
应用场景
您可以根据您业务需求的网站类型、访问页面数、访客数和图片数量选择适配的新型云虚拟主机版本。典型业务场景推荐的机型如下表所示：网站类型 网站信息（仅供参考）推荐版本 个人展示类网站 访问页面数：2000/天 访客数：500/天 图片数量：...
数据分析作业
如果您需要进行简单的查询等数据分析作业，推荐您使用SQL查询或DataWorks的临时查询等工具，高效便捷地完成数据分析作业。本文为您介绍数据分析场景下的常用工具与使用注意事项。使用SQL查询 您可以在 使用SQL分析连接 的查询模式下执行...
天猫旗舰店购买
说明 设计师完成网站制作之前，通过免登将会进入到交付中心，交付中心是设计师与您沟通帮助您完成网站制作的在线流程页面。登录交付中心后，可开始网站制作的第一步，详细可参见 提交需求。设计师完成网站制作之后，通过免登将会进入到网站...
（面向SAAS使用）隐私权政策
本隐私权政策将帮助您了解以下内容：一、我们如何收集和使用您以及您最终用户的个人信息 二、我们如何使用 Cookie 和网络 Beacon 三、我们如何共享、转让、公开披露您以及您最终用户的个人信息 四、我们如何保护您以及您最终用户的个人信息...
查看作业列表
本文为您介绍如何查看您集群下的作业信息。前提条件 已在E-MapReduce控制台创建on ACK的集群，详情请参见 快速入门。操作步骤 进入作业详情页面。登录 EMR on ACK控制台。在EMR on ACK页面，单击待查看集群的 名称。单击上方的 作业详情 页...
如何提交App作业
通过批量计算控制台作业列表的提交作业按钮进入作业提交页面。在作业提交页面选择 App 作业，并选择要使用的 App。各参数的含义如下：作业名称：作业的名称【必填参数】。备注：作业的备注信息【选填参数】。通知订阅：消息通知配置，用户...
作业运行常见问题
导致MaxCompute作业运行时长不达预期（作业运行慢）的原因通常可分为资源不足、作业问题、模式回退三种：资源不足 对于使用 包年包月 计算资源的作业，可能由于总体作业运行数据量大、申请资源多、作业优先级低而导致该作业出现资源等待...
查看作业运行信息
云原生多模数据库 Lindorm 计算引擎提供了SparkUI界面，方便您查看Spark作业的运行状态、作业提交时间以及资源使用情况等详细信息。进入SparkUI界面 说明 SparkUI地址获取方法请参见 查看SparkUI地址。关于开源SparkUI界面的详细介绍请参见...
停止作业
当作业运行失败或不再需要运行该作业时，您可以停止处于QUEUE或RUNNING状态的作业。本文介绍如何停止作业。前提条件 作业必须处于 QUEUE 或 RUNNING 状态。操作步骤 登录 弹性高性能计算控制台。在顶部菜单栏左上角处，选择地域。在左侧...
DESC INSTANCE
根据具体的实例ID获取作业信息，包括具体的SQL、Owner、StartTime、EndTime和Status等信息。命令格式 desc instance;参数说明 instance_id：实例的唯一标识符。使用示例-查询ID为20150715xxxxxxxxxxxxxxx的实例对应的作业信息。desc ...
管理作业
在项目中，您可以通过创建作业来进行任务开发。本文为您介绍如何创建作业、设置和删除作业。前提条件 已创建项目，详情请参见 新建项目。创建作业 进入 项目空间 页面。使用阿里云账号登录 Databricks数据洞察控制台。在Databricks数据洞察...
设置调度器参数
假设集群只有一个8 vCPU的节点，如果Backfill周期设置为10s，则提交两个高优先级需要6 vCPU、运行时间为60 min的作业A和作业B后，再提交一个低优先级需要2 vCPU、运行时间为40 min的作业C时，作业运行情况如下：0s：开始调度，作业A开始...
作业编辑
背景信息 本文为您提供作业编辑的相关操作，具体如下：新建作业 设置作业 在作业中添加注解 运行作业 作业可执行操作 作业提交模式说明 前提条件 已创建项目或已被加入到项目中，详情请参见 项目管理。新建作业 进入数据开发的项目列表页面...
2023-04-13版本
暂无 SQL作业调试流程优化 优化了SQL作业的调试流程，不再需要设置调试的Session集群，而是在作业调试阶段选择调试作业要使用的Session集群，避免作业多版本情况下需要频繁更换调试集群的问题。作业调试 新增安全页面 将用户授权与密钥托管...
作业诊断
本文为您介绍如何通过作业日志检查作业是否已正常提交并执行。MaxCompute为Spark作业提供Logview工具以及Spark Web-UI，帮助您诊断作业。背景信息 通过Spark-submit方式（DataWorks执行Spark任务时也会产生相应日志）提交作业。cd$SPARK_...
USER_JOBS
USER_JOBS 视图提供当前用户拥有的所有作业的信息。名称 类型 说明 job INTEGER 作业的标识符（作业 ID）。log_user TEXT 提交了作业的用户的名称。priv_user TEXT 与 log_user 相同。仅为了实现兼容性而提供。schema_user TEXT 用于分析...
DBA_JOBS
DBA_JOBS 视图提供数据库中的所有作业的相关信息。名称 类型 说明 job INTEGER 作业的标识符（作业 ID）。log_user TEXT 提交了作业的用户的名称。priv_user TEXT 与 log_user 相同。仅为了实现兼容性而提供。schema_user TEXT 用于分析...
- 产品推荐
- 这些文档可能帮助您