初始化OTSClient
OTSClient是表格存储服务的客户端，它为调用者提供了一系列的方法，可以用来操作表、读写单行数据、读写多行数据等。使用.NET SDK发起请求，您需要初始化一个OTSClient实例，并根据需要修改OTSClientConfig的默认配置项。注意事项 表格存储...
数据索引
如果您希望从Bucket存储的海量Object中快速查找与指定的Object名称、ETag、存储类型、大小、最后修改时间等条件匹配的Object，您可以使用数据索引功能。通过数据索引功能，您可以在查找目标Object时指定过滤条件，对查询结果按需选择排序和...
前言
提交 App 作业：提交作业时，按照上述资源配置启动虚拟机镜像或 Docker 镜像，使用用户输入的数据运行软件或脚本，并将输出结果存储在用户指定的持久化存储中。运行环境 镜像类型：App 允许用户通过自定义虚拟机镜像（VM 镜像）或者 Docker...
通过Python SDK开发Spark应用
本文主要介绍如何通过Python SDK提交Spark作业、查询Spark作业的状态和日志信息、结束Spark作业以及查询Spark历史作业。前提条件 已安装Python环境，且Python版本为3.7及以上版本。已创建 湖仓版（3.0）集群。具体操作，请参见 创建湖仓版...
计费概述
会覆盖vCPU和内存设置 计算存储 计算作业的本地化的输入和输出文件存储 高效云盘 disks:"local-disk 20G cloud_efficiency"可作为系统盘或数据盘使用，参考 设置运行时属性 SSD云盘 disks:"/mnt 100G cloud_ssd"软件算法 计算作业使用的...
通过Java SDK开发Spark应用
本文介绍通过Java SDK提交Spark作业、查询Spark作业的状态和日志信息、结束Spark作业以及查询Spark历史作业的操作步骤。前提条件 JDK为1.8及以上版本。已创建 湖仓版（3.0）集群。具体操作，请参见 创建湖仓版集群。已创建Job型资源组。...
配置主机账户
例如，您在Linux主机中使用 ssh-keygen 命令生成公钥和私钥，其中公钥存储在主机对应目录中，私钥导出到本地并在本步骤中输入私钥信息。更多信息，请参见 如何生成密钥并设置密钥认证？如果主机设置密钥是免密登录，则 加密口令 可以为空。...
主机管理
新建主机 您可以 登录云盾堡垒机Web管理页，在 资产>主机管理 页面创建主机，创建方式包括：手动创建、同步阿里云ECS、从本地文件导入。手动创建 单击 新建主机，进入 新建主机 页，然后按要求填写主机信息后即可创建。同步阿里云ECS 在 ...
产品架构
您可以使用这些工具向 BatchCompute 提交作业，查询作业运行状态，并管理作业生命周期（比如停止已提交的作业，释放已完成的作业等）。运行环境 BatchCompute 允许用户通过自定义虚拟机镜像或者 Docker 的方式对运行环境进行高度定制，可以...
配置数据源网络
说明 Spark的计算容器，Driver和每个Executor都会占用所配置的虚拟交换机下面的一个IP，提交作业前，请确保虚拟交换机网段的剩余IP数充足。注意事项 访问服务型云产品中的数据，无需进行本文档中的配置，这些服务包括OSS、MaxCompute、...
Spark Streaming
本文介绍DLA Serverless Spark如何提交Spark Streaming作业以及Spark Streaming作业重试的最佳实践。前提条件 在DLA Serverless Spark中运行Spark Streaming作业前，您需要完成以下准备工作：授权DLA Serverless Spark访问用户VPC网络的...
算子探查（公测）
数据正确性问题的产生原因复杂且不易定位，常见的解决方法是将SQL作业进行逻辑拆解，通过Print连接器打印每一步的结果，对数据结果进行分析，找到可能的原因。这个处理流程不仅耗费时间精力，而且可能因为测试数据与线上数据或者State不...
概览
支持行存储及列存储 建议使用行存储或行列共存 Hologres V0.8版本只支持行存储，V0.9及以上版本支持行存储及列存储。建议使用行存储。不支持 不支持 使用Bayes开发平台。推荐使用阿里云Flink全托管。开源Flink1.10 不支持 支持行存储及列...
企业级状态后端存储配置
本文为您介绍在使用企业级状态后端存储GeminiStateBackend时，可能会用到的一些调优参数。背景信息 在大部分场景下，基于自适应调参功能，GeminiStateBackend会自动调整参数而不需要您手动配置。您只需要根据业务场景，调整一些基本配置，...
网络架构升级
升级目的 优化IP资源的使用效率：大幅度减少您的交换机IP数的占用，IP数占用从作业JM/TM个数粒度（每个Flink作业的每个JM/TM都会占用一个IP）减少到工作空间粒度（内部架构占用2-3个IP)。加强网络安全隔离措施：进一步增加您的VPC内网络...
配置作业日志输出
除直接在Flink控制台作业探查页面查看作业日志外，您还可以将作业日志配置输出至外部存储（OSS、SLS或Kafka）后进行查看。本文为您介绍如何配置作业日志输出，配置后您可以在对应存储中查看作业日志。注意事项 配置日志到其他存储后，如果...
安全白皮书
数据备份 采用存储计算分离架构，使用对象存储OSS来存储作业系统检查点、作业快照、日志和JAR包等信息。Flink全托管服务会在您选择的Bucket下创建不同目录来保存不同类型的数据，默认保存时间为7天。更多信息请参见 开通实时计算Flink版。...
实时数据集成（Flink版）
物联网平台数据服务中的产品属性时序表、产品事件表和自定义存储表（时序表）数据，可以集成到阿里云实时计算Flink版中计算和分析，以便您实时分析和诊断设备的运行状况，实时检测运行故障等。本文介绍使用实时计算Flink版的连接器功能集成...
作业诊断
本文为您介绍如何通过作业日志检查作业是否已正常提交并执行。MaxCompute为Spark作业提供Logview工具以及Spark Web-UI，帮助您诊断作业。背景信息 通过Spark-submit方式（DataWorks执行Spark任务时也会产生相应日志）提交作业。cd$SPARK_...
配置训练数据和代码
在作业运行过程中，ACK集群会将本地存储目录挂载到作业所在的容器中，使作业能够访问本地存储目录中的数据和模型。单击 提交。新增数据配置创建完成后，您可在 数据配置 页面的 数据 页签查看新建训练数据集的详细信息。配置训练代码 在AI...
升配实例规格
当堡垒机（基础版和企业双擎版）实例的默认配置不能满足您的运维需求时，您可以通过升配将堡垒机升级到更高配置。本文介绍如何给堡垒机（基础版和企业双擎版）升配。升配说明 堡垒机 基础版 除了支持升级资产数、带宽和存储容量，还支持...
常见问题
通过flink run命令运行作业时，作业的参数没有生效 在通过命令行命令运行Flink作业时，Flink作业的参数需要放在Flink作业JAR包的后面，例如 flink run-d-t yarn-per-job test.jar arg1 arg2。报错Multiple factories for identifier '.' ...
同城高可用
如果该OSS Bucket未配置为 同城冗余存储类型，在某个可用区不可用时，状态数据将无法被正常访问，导致Flink无法保证作业有状态启动。OSS类型配置方法请参见 转换Bucket的存储冗余类型。说明 如果您的OSS容量使用较高，担心转换存储类型会...
网络连通性
在使用公网读取或写入作业，作业各项指标都正常且作业没有反压的情况下，可以通过公网带宽来排查是否是有瓶颈问题。操作步骤如下：在实时计算Flink版控制台的 工作空间详情 中获取专有网络ID。在专有网络控制台，单击目标专有网络ID。在 ...
售卖、试用、规格相关问题
堡垒机不同版本及套餐规格默认配备一定的存储空间，供您存储录像审计文件，您可以通过运维所使用的频率、录像文件存储时长、录像大小等预估配备的存储空间是否足够，如若不足，请您购买存储扩展包进行扩展。更多信息，请参见 售卖规格。...
对象存储优化
对象存储OSS提供存储管理功能，帮助您优化存储性能和成本。分析数据访问模式并对数据进行转储或删除 您可以分析数据访问模式并配置 生命周期规则，自动将访问频率较低的数据转换为成本更低的存储类型，或者在到期日之后自动删除数据。例如...
产品计费
本文主要介绍云存储网关计费相关内容，包括计费项、计费方式和欠费说明等，您可以通过本文了解云存储网关服务费用收取详情。计费项 云存储网关包括线上网关和线下网关，其计费项不相同。云存储网关资源的价格，请参见 云存储网关产品定价。...
分场景排错指引
此时，您可以通过Print Sink或者Log4j的方式，单独将使用的函数的信息打印到日志中，确认函数的使用方法是否正确。详情请参见 print结果表 或 配置作业日志输出。确认数据是否乱序。如果作业中存在乱序的数据，这些乱序的数据的Watermark不...
查看作业运行状态
通过HDFS Shell工具查看作业运行日志 计算引擎作业的运行日志会被系统同步并存储至底层的文件引擎中，如果需要查看的计算引擎作业中断，您可以开通 云原生多模数据库 Lindorm 文件引擎，并使用HDFS Shell工具查看作业的运行日志。...
Flink SQL作业快速入门
本文通过简单的示例，带您快速体验Flink SQL作业的创建、部署和启动等操作，以了解Flink SQL作业的操作流程。前提条件 如果您使用RAM用户或RAM角色等身份访问，需要确认已具有Flink控制台相关权限，详情请参见 权限管理。已创建Flink工作...
CPFS并行文件存储
CPFS并行文件存储 提供高性能计算文件存储，支持标准的POSIX和MPI-IO协议，自带的高性能计算程序无需任何接口适配和性能优化即可高效执行，满足高性能文件存储需求。产品架构 CPFS并行文件存储 是针对高性能和超大规模存储场景推出的文件...
方案实现
本文介绍实现大数据分析方案的详细配置操作，包括在RDS MySQL中创建源表、在表格存储中创建结果表、在实时计算Flink中创建作业并启动和在表格存储中分析数据。前提条件 已了解方案背景信息和完成准备工作。更多信息，请参见 方案背景 和 ...
审批如何打印？
详细信息 若你需要打印审批单，请提交申请的人或者是审批流程中的人，在手机上/电脑客户端：点击【工作】-【审批】，找到需要打印的审批单，在审批单的右上角【更多】-【打印】，打印文件PDF会通过企业消息发送给你，目前不支持批量打印。...
云存储网关
性能 作为应用与OSS之间的云存储网关，其性能取决于多个因素，包括您本地磁盘的速度和配置、iSCSI启动器与网关之间的网络带宽、分配给网关虚拟机的本地存储量、网关虚拟机与OSS之间的带宽等。对于网关缓存，要提供对本地应用的低延迟读取...
使用场景相关问题
本文介绍堡垒机使用场景的相关问题。堡垒机如何跨云管理其他来源的主机？堡垒机支持跨账号、跨VPC运维资产吗？经典网络中的资产如何运维？如何将服务器配置为HTTP和SOCKS5代理服务器？堡垒机支持数据库运维吗？堡垒机支持运维哪些资产？...
功能特性
用户使用工具（如 SDK，命令行工具等）向 BatchCompute 提交作业，BatchCompute 使用用户指定的镜像（如：ubuntu）启动虚拟机（VM）,在虚拟机中运行用户程序,运行完成后释放虚拟机（VM）。BatchCompute 中使用 OSS 作为持久化存储。您可以...
虚拟机迁移
您可以通过vSphere vMotion将已打开电源的虚拟机移至其它ESXi主机，也可以将虚拟机磁盘或文件夹移至不同的数据存储。基于虚拟机资源类型，可以分为如下两种迁移方式：仅更改计算资源：将虚拟机（而不是其存储）移至其他计算资源，如主机、...
操作指导
说明 如果您后续新增了虚拟交换机，也需要将新增虚拟交换机的网段添加至目标存储设备的白名单中。如果您的虚拟交换机和上下游存储不在同一可用区，添加虚拟交换机网段至白名单后，网络可以连通。登录实时计算控制台提示当前账号缺少权限 ...
常见问题
产品简介FAQ 云存储网关提供哪些服务？云存储网关支持哪些协议？产品原理FAQ 文件网关中的文件与OSS间的映射关系如何？文件网关缓存的淘汰机制是什么？文件网关的缓存有什么作用？云存储网关文件上传原理解析是什么？极速同步如何保证反向...
操作指南FAQ
本文介绍使用云存储网关过程中的常见问题。云上部署FAQ 创建网关时找不到可用交换机如何处理？云存储网关升级失败了该如何处理？本地部署FAQ 如何检测网关网络的联通性？如何在本地数据中心部署云存储网关？云存储网关升级失败了该如何处理...
- 产品推荐
- 这些文档可能帮助您