查看启动和运行日志
在作业为运行状态时，您可以查看其启动日志和运行日志。本文为您介绍如何查看启动日志和运行日志。背景信息 类型 详情 启动日志 Flink作业启动之后的日志，即从Flink环境被初始化一直到Job Manager被启动起来中间日志。关于如何查看启动...
术语表
术语 全称 中文 说明 OSS Object Storage Service 阿里云对象存储 媒体处理服务对用户存储于OSS的媒体文件进行转码，并将转码输出文件保存在MediaBucket中或者OutputBucket中。Bucket OSS Bucket OSS Bucket 遵守OSS Bucket定义，只能包括...
什么是基因分析平台？
提供计算侧的文件访问缓存加速，支持计算作业直接读写OSS文件，解决并行任务的I/O和吞吐问题 大规模并行计算调度，提供容器/虚拟机执行环境，支持多种异构计算，加速基因分析。工程化的流程执行引擎，支持GA4GH标准（WDL/CWL）,无需迁移...
存储管理
管理员可通过存储管理功能，查看审计会话数据的存储空间的使用情况，以及对存储时长进行配置。本文介绍如何使用存储管理功能。背景信息 存储空间全部存满后，堡垒机会删除最早的审计会话数据。建议您根据业务需求，为审计会话数据设置合理...
计费常见问题
在没有计算作业或外网下载的情况下，您可以确认MaxCompute项目是否有残留数据，残留数据占用存储空间会产生存储费用。您可以通过 MaxCompute管家 查看存储空间占用情况。从按量计费变为包年包月计费模式时，是否会引起数据变化或服务重启？...
如何在本地数据中心部署云存储网关
本文介绍如何在本地数据中心安装云存储网关镜像，完成虚拟机的部署。前提条件 已下载镜像文件到本地主机。如果您要部署的是本地文件网关。具体操作，请参见 下载镜像。如果您要部署的是本地块网关，具体操作，请参见 下载镜像。背景信息 您...
日志和审计相关问题
V3.2版本堡垒机的审计录像默认配有一定的存储空间，存储时长根据实际业务不同影响，如果需要存储更多或更长时间的录像，可以单独扩容存储扩展包来增加审计录像存储时长。具体操作，请参见 升配实例规格。说明 堡垒机实例直接保存运维协议的...
使用教程（宽表模型）
表格存储 支持作为实时计算Flink的源表和结果表使用，您可以将 表格存储 数据表中的数据经过Flink处理后得到的结果保存到 表格存储 的另一张数据表中。背景信息 实时计算Flink能将Tunnel Service的数据通道作为流式数据的输入，每条数据...
企业双擎版免费升配公告
尊敬的阿里云堡垒机用户，您好：为了给您提供更佳的运维体验，达到更高效的运维效果，从2021年06月23日起，堡垒机 企业双擎版 将对存储、带宽默认配置进行免费升配。升配时间 2021年06月23日。升配内容 企业双擎版 升配前后的差异对比如下...
什么是弹性高性能计算E-HPC
什么是文件存储NAS 对象存储OSS（Object Storage Service）对象存储服务可以存储您的作业数据及执行文件，您可以将对象存储服务内的作业数据及执行文件导入E-HPC集群。什么是对象存储OSS 功能特性 弹性高性能计算E-HPC主要提供以下功能。...
购买实例
您需要根据业务需求购买相应规格的堡垒机（基础版或企业双擎版）实例后，才能使用运维安全中心（堡垒机）服务。本文介绍如何购买堡垒机（基础版和企业双擎版）实例。操作步骤 访问 堡垒机购买页。在堡垒机购买页面，选择商品类型，参考下表...
迁移方案
本文为您介绍从原有集群（线下IDC自建集群或ECS自建）迁移Flink作业到DataFlow集群的整体流程，包括准备工作，如何迁移作业，以及常见问题等。背景信息 EMR集群的基础信息，请参见 集群规划。准备工作 集群规划 创建DataFlow集群时，集群...
成本分析
在 存储用量分析 页签，进行存储用量分析：各类存储趋势(GB)：以折线趋势图方式展示指定账期内某个或多个实例的各类存储（包含总存储、标准存储、备份存储）大小趋势。各实例存储用量(GB)：以堆叠柱形图方式展示各实例每日各类存储大小趋势...
归档审计日志到日志服务
运维安全中心（堡垒机）支持将审计日志（即运维记录）归档到 日志服务 SLS（Simple Log Service）。审计日志归档配置完成后，堡垒机在接收到运维记录时，即可自动将日志转存到日志服务中。本文介绍如何将审计日志归档到日志服务。背景信息 ...
概述
EdgeBus：边缘端消息总线（边缘端跨进程通信机制），EdgeBus的数据作为输入源，会根据消息路由（管理边缘端消息流向）的配置将数据输入到流作业中，目前支持设备数据流向流作业。结果表 目的数据存储，用于存储流数据分析的计算结果。每个...
云存储网关软件版公测
云存储网关软件版是一款可以安装在阿里云用户ECS上或者用户本地数据中心客户端的产品，提供类似ossfs的功能，使用云存储网关软件版可以将OSS桶挂载到客户端本地以POSIX文件接口进行访问，从而您可以像操作本地文件一样操作OSS里面的文件。...
Kafka数据接入
通过创建Tablestore Sink Connector，将 云消息队列 Kafka 版 实例的数据源Topic导出到 表格存储（Tablestore）。前提条件 云消息队列 Kafka 版 已为实例开启Connector。具体操作，请参见 开启Connector。已为实例创建数据源Topic。更多...
作业优先级
本文为您介绍MaxCompute的包年包月作业优先级功能，并提供开启、设置和查看作业优先级的操作指导。背景信息 MaxCompute的包年包月计算资源有限，在实际数据开发过程中，系统需要优先保障重要作业的计算资源。例如，系统必须在06:00点前产出...
计费方式
存储扩展包 购买后，堡垒机默认会配置相应的存储空间，如果默认配置的存储空间无法满足您的需求，您需要在购买堡垒机实例时选择相应的存储扩展包。关于存储扩展包的计费信息，请参见 计费详情。计费详情 说明 下表中地域一、地域二、地域三...
Logview诊断实践
在实际业务开发过程中，企业通常要求作业能在期望的时间节点前产出结果，并根据结果做进一步决策，这就需要作业开发人员及时关注作业运行状态，识别并优化慢作业。您可以通过MaxCompute的Logview功能诊断慢作业。本文为您介绍导致出现慢...
日志实时入仓快速入门
存储位置 作业草稿 指定该作业的代码文件所属的文件夹。默认存放在 作业草稿 目录。您还可以在现有文件夹右侧，单击 图标，新建子文件夹。引擎版本 vvr-8.0.5-flink-1.17 在引擎版本下拉列表中选择目标引擎版本。单击 创建。将以下作业代码...
修改运行作业日志级别
当INFO级别的日志无法满足您定位问题的需求时，您可以修改打印日志的级别为DEBUG。本文为您介绍如何动态修改日志级别及使用限制和注意事项。背景信息 系统支持的日志级别从低到高的顺序与下面表格内容中的前后顺序一致。级别 详情 TRACE 比...
计费模式
本文介绍数据湖构建中各资源的计费规格，包括入湖作业资源用量、数据存储对象和元数据请求三部分。计量计费项 重要 DLF产品目前所有功能为 0折扣活动阶段，即使超过免费阶梯限定后，目前也均不会产生实际计费。元数据对象的存储量 元数据...
Redis
阿里云数据库Redis版是兼容开源Redis协议标准、提供内存加硬盘混合存储的数据库服务，基于高可靠双机热备架构及可平滑扩展的集群架构，可充分满足高吞吐、低延迟及弹性变配的业务需求。本文主要介绍如何通过DLA Serverless Spark访问云数据...
DAG作业快速开始
查看作业运行状态及运行结果 bcs j#获取作业列表,每次获取作业列表后都会将列表缓存下来，一般第一个即是你刚才提交的作业 bcs j 1#查看缓存中第一个作业的详情 bcs log 1#查看缓存中第一个作业日志 可以使用以下命令查看结果：bcs o cat ...
企业级状态后端存储介绍
GeminiStateBackend是一款面向流计算场景的KV存储引擎，作为实时计算Flink版产品的默认状态存储后端（StateBackend）。本文为您介绍企业级状态后端存储GeminiStateBackend的核心设计，以及其与RocksDBStateBackend的性能对比情况。整体介绍...
计量计费
费用计算规则 MaxCompute SQLML底层的机器学习能力，是通过阿里云 人工智能平台 PAI 产品独立计费的，所以MaxCompute SQLML费用分为以下两部分：SQL作业：计算费用和存储费用按照MaxCompute SQL计费规则计费，请参见 计费项与计费方式概述...
作业配置指南
Serverless Spark作业的描述格式为JSON格式，包含作业名称，JAR包路径以及作业配置参数等信息。本文主要介绍如何配置Serverless Spark任务格式。重要 云原生数据湖分析（DLA）产品已退市，云原生数据仓库 AnalyticDB MySQL 版 湖仓版支持...
作业启动
完成作业开发和部署后，您需要在作业运维页面启动作业至运行阶段。此外，作业在停止后需要恢复、更新了非动态生效的参数配置需要生效时，也需要启动作业。本文为您介绍如何启动作业。前提条件 已完成作业部署，详情请参见 部署作业。使用...
PolarDB-X
PolarDB-X（原DRDS升级版）是由阿里巴巴自主研发的云原生分布式数据库，融合分布式SQL引擎DRDS与分布式自研存储X-DB，基于云原生一体化架构设计，可支撑千万级并发规模及百PB级海量存储。本文主要介绍如何通过DLA Serverless Spark访问云...
查看作业运行信息
云原生多模数据库 Lindorm 计算引擎提供了SparkUI界面，方便您查看Spark作业的运行状态、作业提交时间以及资源使用情况等详细信息。进入SparkUI界面 说明 SparkUI地址获取方法请参见 查看SparkUI地址。关于开源SparkUI界面的详细介绍请参见...
2022-03-04版本
企业级状态后端存储介绍 企业级状态后端存储配置 系统检查点或作业快照的超时与失败 性能优化 企业级状态存储后端在本次新版本中包含了大量优化，极大提升了双流或多流Join作业的性能，计算资源利用率平均可以提升50%，典型场景下可以提升...
JAR作业开发
如果Datastream作业访问的上下游存储提供了白名单机制，则您需要进行白名单配置。配置方法请参见 如何设置白名单？为了避免JAR包依赖冲突，您需要注意以下几点：作业开发页面选择的Flink版本，请在Pom文件中使用相同版本的Apache Flink依赖...
方案背景
本文以车联网场景中车辆元数据为例介绍基于设备接入平台与表格存储Tablestore搭建车辆元数据管理平台的场景需求以及方案架构。场景需求 车辆在行驶的过程中会定时上报大量的状态数据，例如车辆识别代码、行驶速度、发动机转速、车内温度等...
Cassandra
前提条件 已经开通对象存储OSS（Object Storage Service）服务。具体操作请参考 开通OSS服务。已经创建云数据库Cassandra实例。具体请参考 使用cqlsh访问cassandra。已获取到Cassandra的 私网连接点、CQL端口、数据库用户名、数据库密码。...
迁移Batch批量计算到分布式工作流Argo集群
批处理作业（Batch）通常用于数据处理、仿真计算、科学计算等领域，往往需要大规模的计算资源。分布式工作流Argo集群基于开源Argo Workflows项目开发，完全符合开源工作流标准。通过 工作流集群，您可以轻松编排工作流，每个工作流步骤使用...
使用教程（时序模型）
本文以表格存储Tablestore中的宽表作为上游数据源为例介绍如何使用实时计算Flink写数据到Tablestore的时序表中。背景信息 Tablestore的时序模型是针对时间序列数据的特点进行设计，适用于物联网设备监控、设备采集数据、机器监控数据等场景...
查看资源组监控
云原生数据仓库 AnalyticDB MySQL 版 湖仓版（3.0）的资源管理既可以展示集群级别的计算和存储资源用量，也展示资源组和作业级别的计算资源使用情况。本文介绍如何通过资源管理查看集群、资源组、作业的资源用量，包括预留资源用量和弹性...
计算费用（按量付费）
计费公式 类型 价格 说明 示例 MapReduce作业当日计算费用=当日总计算时×单价 一个执行成功的MapReduce作业计算时=作业运行时间（小时）×作业调用的Core数量 标准MapReduce作业（指使用按量付费标准版计算配额的MapReduce作业）一般情况...
使用Flink将Kafka数据流式写入阿里云OSS
将Kafka数据实时导入到OSS等湖存储中来降低存储成本或者进行查询分析是常见的使用场景。在EMR-3.37.1及之后的版本中，DataFlow集群内置了JindoFS相关的依赖，使得您可以在DataFlow集群中运行Flink作业，将Kafka数据以Exactly-Once语义流式...
- 产品推荐
- 这些文档可能帮助您