常见问题
集群配置问题包括：内存参数是否合理、跨集群联通性是否正确、安全集群访问是否通过、principal是否正确等等，作业问题包括作业描述文件格式是否正确、输入数据是否能够正常被解析，以及一些其他的作业相关的配置（例如ioConfig）。...
搭建Linux开发环境
引用外部文件 用户在开发过程中涉及到如下场景时，需要引用外部文件：作业需要读取一些配置文件。作业需要额外的资源包或第三方库。例如JAR包、Python库。在实际操作中，您需要先上传文件后才可以引用文件，上传文件方式有以下两种，任选...
自动伸缩最佳实践
在编辑作业文件页面，配置lj.in文件和AutoScaling.pbs，单击 确认 提交作业。lj.in算例参数及说明，请参见 使用LAMMPS软件进行高性能计算。AutoScaling.pbs配置如下所示：#!bin/sh#PBS-l select=3:ncpus=1:mpiprocs=1#该脚本在3个计算节点...
使用Kafka连接器进行Kerberos认证
在 作业运维 页面 部署详情 页签 运行参数配置 区域的 其他配置 中添加以下配置项，为JVM指定Kerberos配置文件。env.java.opts:'-Djava.security.krb5.conf=flink/usrlib/krb5.conf' 单击 保存。单击页面右上方的 启动 按钮。
创建自定义组件
管道及参数配置与Designer组件界面化参数对应关系如下图所示：具体参数配置说明如下：参数 描述 输入 自定义组件通过输入管道获取输入数据或finetune的模型，支持配置以下参数：输入名称：参照界面提示配置输入管道名称。输入来源：指定...
部署作业
资源上传 作业部署前，您可以根据需要将JAR包、Python作业文件或Python依赖上传到Flink开发控制台。登录 实时计算控制台。在 Flink全托管 页签，单击目标工作空间 操作 列下的 控制台。在左侧导航栏，单击 资源管理。单击 上传资源，选择您...
JAR作业开发
您需要提前配置日志输出，详情请参见 配置作业日志输出。相关文档 支持作为DataStream类型的连接器列表，请参见 支持的连接器。MaxCompute 连接器的本地运行和调试方法，请参见 本地运行和调试包含连接器的作业。Flink JAR作业的完整开发...
Table/SQL JAR迁移至JAR
背景信息 本文将使用开源JDBC Connector写阿里云RDS的方式进行作业迁移，因此需要额外配置附加依赖文件选项。实时计算Flink全托管版集群内置了商业化的RDS Connector，您也可以替换为开源JDBC Connector。商业化的RDS Connector详情请参见 ...
通过执行命令卸载挂载目录
如果您为NFS或SMB文件系统配置了自动挂载脚本且需要重启服务器，您还需要删除或修改自动挂载配置文件/etc/fstab，取消开机自动挂载文件系统。执行 mount-l 命令，查看卸载结果。如果回显中未找到您挂载的NAS文件系统信息，表示该文件系统...
新建ArgoDB计算源
选择了Kerberos认证后，需要上传Krb5认证文件或配置KDC Server地址：Krb5文件配置：需要上传Krb5文件进行Kerberos认证。KDC Server地址：KDC服务器地址，辅助完成Kerberos认证。支持配置多个KDC Server服务地址，使用英文分号（,）分割。c....
配置YML文件
注意事项 在修改YML参数配置时，请注意：为了方便后续排查与定位阿里云Logstash问题，YML文件配置中默认开启了慢日志，请不要移除该慢日志配置。为了保证服务运行的稳定性，阿里云Logstash不支持修改以下参数值。node.name path.data path....
使用自定义构建发布
配置文件 配置文件路径 默认读取代码目录下的.linkb-build.yml 文件作为构建配置文件。配置文件示例 配置文件以 YAML 进行构建的编排，以下为配置文件示例（SpringBoot 工程示例）。build:image:reg-docker.linke.alipay....
Datastream JAR迁移
在 新建文件 对话框，填写作业配置信息。配置项 说明 文件名称 示例为ds_kafka3rds。文件类型 请选择为流作业/JAR。单击 确认。填写作业信息。配置项 说明 JAR URI 上传刚编译好的JAR包或者填写对应的JAR信息。Entry Point Class 指定主类...
概述
配置文件由集群中的所有数据库共享，但每个集群可具有多个配置文件。具有多个数据库访问权限的单个用户在连接到集群中的每个数据库时将使用相同的配置文件。PolarDB PostgreSQL版（兼容Oracle）创建名为default的配置文件，除非指定备选...
快速配置子账号权限
具体请参见 创建和执行Spark作业 和 作业配置指南 配置示例如下。{"name":"SparkPi","file":"local:/tmp/spark-examples.jar","className":"org.apache.spark.examples.SparkPi","args":["100"],"conf":{"spark.driver.resourceSpec":...
从Flink SQL导入
在 新建文件 对话框，填写作业配置信息。作业参数 说明 文件名称 作业的名称。说明 作业名称在当前项目中必须保持唯一。存储位置 指定该作业的存储位置。您还可以在现有文件夹右侧，单击 图标，新建子文件夹。引擎版本 当前作业使用的Flink...
管理作业模板
通过作业模板，您无需配置作业参数，即可快速创建作业，提高工作效率。本文介绍如何创建、使用、编辑、删除作业模板。创建作业模板 创建作业模板时，一个地域下最多可创建20个作业模板。登录 弹性高性能计算控制台。在顶部菜单栏左上角处，...
数据传输的审计事件
ConfigureDtsJob 配置作业。ConfigureEtlJob 配置ETL任务。ConfigureMigrationJob 配置DTS的数据迁移任务。ConfigureMigrationJobAlert 配置监控报警。ConfigureSubscription 配置订阅任务。ConfigureSubscriptionInstance 配置订阅通道。...
资源包抵扣规则
200 MB/s/TiB基线 1.69 每1.69 GiB CPFS资源包基准容量能抵扣1 GiB 200 MB/s/TiB基线CPFS文件配置容量。地域资源包可用于抵扣指定地域内对应资源的使用费用，不同地域之间不共享。例如，您购买了华东1（杭州）的资源包，则仅能抵扣华东1...
Maven 仓库
Flow 支持通过三种方式设置 settings.xml 完成 Maven 配置：代码库根目录 settings.xml 文件 Flow 企业设置->Maven 设置中上传 settings.xml 文件 云效默认的 Maven 配置 settings.xml 文件 目前，Maven 配置仅影响 Java 构建，优先级如下...
工作原理
场景 说明 场景一：从当前时间开始执行时序预测作业 从当前时间发起作业，预测作业根据配置的观测长度读取历史数据，然后预测未来一段时间的时间序列。场景二：从某个历史时间点开始执行时序预测作业 在指定的时间点创建时序预测作业后，...
工作原理
场景 说明 场景一：从当前时间开始执行下探分析作业 从当前时间发起作业，作业根据您所配置的观测长度读取历史数据，然后下探分析未来一段时间的时序数据。场景二：从某个历史时间点开始执行下探分析作业 在指定的时间点创建下探分析作业后...
步骤 3 将配置文件添加到项目中
配置文件是一个压缩包文件。该压缩包包含一个.config 文件以及一个 yw_1222.jpg 加密图片。如果您是公有云用户，请确认.config 文件中 base64Code 的 value 不为空。由于公有云环境已弃用 yw_1222.jpg 文件，请忽略。如果您是专有云用户，...
添加属性设置任务
作业执行的超时配置 仅对自定义任务生效。此处无需配置。作业开始调度时间 可选配置。从当前设置操作的时间，开始计算时间。设备任务创建成功后，先初始化，直至到达调度时间，才会开始调度执行。单击 完成。任务创建完成后，物联网平台...
工作原理
如果您修改作业配置后，文本分析作业重新创建一个新的实例执行算法模型，与之前的实例无关。关于不同操作对实例的调度与执行的影响，请参见 调度与执行。实例ID 执行实例的唯一标识。创建时间 实例创建的时间。一般是按照您配置的作业规则...
配置扩展文件
当您需要在阿里云Logstash的配置文件中定义驱动文件时，可通过扩展文件配置功能，上传所需的驱动文件。同时扩展文件配置功能也提供了对所有扩展文件进行管理的能力。操作步骤 进入 阿里云Elasticsearch控制台的Logstash页面。进入目标实例...
术语表
Output Job Output 作业输出配置 作业输出配置由模板ID、水印列表、OutputFile、输出文件等属性构成。OutputFile Output File 输出文件 作业输出文件，存储于OSS上，由OutputLocation、OutputBucket、OutputObject唯一标识一个输出文件。...
支持识别的OSS文件类型
21 IIS配置文件 105 Outlook文件 22 Tomcat配置文件 106 Word文档 23 MaxCompute配置文件 107 PDF文档 24 OpenVPN配置文件 108 FDF文档 25 OSS配置文件 109 Lotus多字节字符集文件 26 Tomcat application配置文件 110 Lotus WordPro文件 27...
HDFS数据源
说明 实际启动的并发数是您的HDFS待读取文件数量和您配置作业并发数两者中的小者。当指定通配符，HDFS Reader尝试遍历出多个文件信息。例如指定/代表读取/目录下所有的文件，指定/bazhen/代表读取bazhen目录下游所有的文件。HDFS Reader...
作业状态集管理
从（其他作业）指定快照恢复作业 配置作业快照自动清理规则 如果您需要系统可以自动清理作业快照，不再人工手动删除快照，则可以配置作业快照保存个数或是保存时间信息。保存该规则后，作业运行过程中，系统会根据此规则自动清理快照。说明...
Table/SQL JAR迁移至SQL
在 资源配置 页签，配置作业的并发度。本示例参考自建Flink集群作业运行命令，设置作业并发度为2。单击 保存。可选：在页面右上角，单击 验证，进行语法检查。在页面右上角，单击 上线，将作业提交至集群。在 作业运维 页面，单击 启动。...
管理配置项
配置项（ConfigMap）是一种用于存储工作负载所需配置信息的资源类型，需要您自定义配置项的内容。创建配置项 您可以添加联邦配置项，也可以为单个的集群添加配置项。创建联邦配置项 登录 LHC 控制台，在左侧导航栏单击 配置管理>配置项。...
创建应用配置
配置证书相关参数。选项 说明 Keystore密码 用于输入Keystore文件的密码。Key 别名 用于指定证书的名称。Key 密码 用于输入证书的密码。单击 下一步，配置管理员。配置证书（iOS）在 配置应用 页面，单击热区选择p12文件，或者将p12文件...
启动实例时提示Give root password for maintenance或...
说明 如果您的ECS实例已经因为/etc/fstab 文件配置异常导致无法启动，请参见 Linux实例的/etc/fstab文件配置错误导致系统启动异常 进行修复。分别执行以下命令对比/etc/fstab 配置文件中的磁盘挂载信息与当前系统的磁盘挂载信息是否一致。...
OSS-HDFS数据源
说明 实际启动的并发数是您的OSS-HDFS待读取文件数量和您配置作业并发数两者中的小者。当指定通配符，OSS-HDFS Reader尝试遍历出多个文件信息。例如指定/代表读取/目录下所有的文件，指定/oss-hdfs/代表读取oss-hdfs目录下游所有的文件。...
Maven部署说明
重要 如果既存在默认配置文件，也通过参数指定配置文件，Cloud Toolkit会优先使用参数指定的配置文件。账号配置及优先级 使用Cloud Toolkit将应用部署到云端时，需要使用阿里云上的资源。因此在部署应用前，需要设置您的阿里云账号信息，...
密钥管理
例如，在配置作业日志输出到SLS时调用AccessKey密钥示例如下，完整日志输出配置信息具体请参见 配置作业日志输出。Layout pattern="%d{yyyy-MM-dd HH:mm:ss,SSS}{GMT+8}%-5p%-60c%x-%m%n"type=...
配置模板（公有云）
实时监控支持通过导入或导出监控配置及报警规则的方式实现配置跨云、跨租户、跨环境迁移能力。您可根据业务需要，选择不同维度下的监控项进行导入导出操作，如应用业务监控项、业务自定义监控项、环境维度资源监控项、应用维度资源监控项。...
安装ossutil
配置ossutil。输入配置命令。ossutil config 根据提示设置配置文件路径。请输入配置文件名，文件名可以带路径（默认为：C:\\Users\user\.ossutilconfig，回车将使用默认路径。如果用户设置为其它路径，在使用命令时需要将-config-file选项...
设置数据备份配置文件
执行system copy前，您需要先创建数据备份配置文件，并将文件路径添加到 云备份 中。背景信息 SAP HANA的"System Copy"是指将一个现有的SAP HANA系统复制到另一个环境（通常是另一台服务器或系统）的过程。系统复制可以是同硬件间的，也...
- 产品推荐
- 这些文档可能帮助您