管理作业版本
背景信息 本文从以下方面为您介绍如何管理作业版本：对比作业版本 回滚作业版本 锁定作业版本 删除作业版本 对比作业版本 仅支持SQL代码和作业配置内容的对比，有差异的内容就会被标记出来。登录 实时计算控制台。在 Flink全托管 页签，...
DAG作业快速开始
命令行工具安装和配置 命令行工具安装和配置 作业准备 本作业的目的是求和，将 input.txt 中的数字全部加起来，求和后写入 output.txt。由于计算比较简单本作业只需 1 个任务。本例将 OSS 的目录挂载为 VM 本地目录，使用文件方式操作。...
电子邮件安全指南
一、电子邮件威胁种类 1、病毒、蠕虫、特洛伊木马：是对计算机、服务器或计算机网络造成损害的软件、代码和程序。这三种恶意代码可以作为电子邮件附件引诱用户打开或运行，一旦它成功感染了受害者的计算机，它就会肆无忌惮实施破坏行为，...
JobItem
python/root/code/mnist.py DataSources object[]本作业使用的所有数据源配置列表 DataSourceId string 数据源配置 ID data-20210114104214-*MountPath string 本地挂载路径/mnt/data CodeSource object 次作业使用的代码源配置 ...
算子探查（公测）
算子探查功能可以在不修改作业的情况下看到中间结果的输出，降低排查数据正确性错误的难度，提高人效和业务的连续性，减少重点实时业务的中断时间。本文为您介绍如何进行算子探查。背景信息 Flink作业运维时，会遇到产出结果不符合预期的...
Docker 作业示例
作业准备 本作业程序使用 python 编写，目的是统计一个日志文件中“INFO”，”WARN”，”ERROR”，”DEBUG”出现的次数。该作业包含3个任务：split,count 和 merge。split 任务会把日志文件分成 3 份。count 任务会统计每份日志文件中...
2021-08-04版本
VVP重大功能变更 作业停止后会清理该作业生成的所有Checkpoint，因此如果您需要恢复作业的状态，可以采取以下任何一种方式：暂停作业后再恢复作业。停止后从Savepoint恢复作业。新增 开发类功能 SQL作业支持配置细粒度资源，即可以配置CPU...
功能与优势
核心性能提升 GeminiStateBackend是阿里自研的后端存储系统，采用全新的架构和数据结构设计，支持存储计算分离，摆脱了状态数据的本地盘存储限制，并且还支持KV分离，从而大幅提升双流或多流Join作业的效率。此外，GeminiStateBackend还能...
Python SDK 快速开始
作业准备 本作业是统计一个日志文件中“INFO”,”WARN”,”ERROR”,”DEBUG”出现的次数。该作业包含3个任务：split,count 和 merge:split 任务会把日志文件分成 3 份。count 任务会统计每份日志文件中“INFO”,”WARN”,”ERROR”,”DEBUG...
Databricks Runtime
用于机器学习的Databricks Runtime简介 本教程是为Databricks Runtime ML的新用户设计的。完成此过程大约需要10分钟，并显示了一个完整的端到端示例，该示例包含加载表格数据，训练模型，分布式超参数调整和模型推断的示例。它还说明了如何...
控制台快速开始
作业准备 本作业是统计一个日志文件中 INFO、WARN、ERROR、DEBUG 出现的次数。该作业包含3个任务：split、count 和 merge:split 任务会把日志文件分成 3 份。count 任务会统计每份日志文件中 INFO、WARN、ERROR、DEBUG 出现的次数（count ...
原生SDK概述
主要接口 描述 void setResources(String resourceNames)声明本作业使用的资源。只有声明的资源才能在运行Mapper/Reducer时通过TaskContext对象读取。void setMapOutputKeySchema(Column[]schema)设置Mapper输出到Reducer的Key属性。void ...
Java SDK 快速开始
作业准备 本作业是统计一个日志文件中“INFO”,”WARN”,”ERROR”,”DEBUG”出现的次数。该作业包含 3 个任务：split，count 和 merge：split 任务会把日志文件分成 3 份。count 任务会统计每份日志文件中“INFO”,”WARN”,”ERROR”,”...
作业停止
如果您对作业进行了修改（例如更改SQL代码、增删改WITH参数、更改作业版本等），且希望修改生效，则需要先上线，然后停止再启动。另外，如果作业无法复用State，希望作业全新启动时，也需要停止后再启动作业。本文为您介绍如何停止作业。...
项目空间运维与监控
日志监控 当我们在项目空间中运行测试作业时，若运行过程中作业报错或作业失败，在下方的调试框内会给出相应的执行日志以及错误判断信息，在运行记录当中可以查看过往的提交信息，以供用户排查作业问题，如下图：日志监控图 运行记录列表图...
通过Spark Streaming作业处理Kafka数据
步骤四：运行Spark Streaming作业 本示例将运行一个流式单词统计（WordCount）的作业。登录DataLake集群的Master节点，详情请参见 登录集群。执行以下命令，进入emr-user目录。cd/home/emr-user 执行以下命令，进行流式单词统计（WordCount...
注册Hive Kerberos集群
背景信息 Kerberos是一种计算机网络授权协议，用来进行身份认证，以保证通信的安全性。如果您的Flink作业要访问的Hive支持了Kerberos，则需要您先在Flink全托管控制台上注册Hive Kerberos集群，然后在Flink作业中配置Kerberos集群信息，...
安全白皮书
Hive Kerberos集群访问 Kerberos是一种计算机网络授权协议，用来进行身份认证，以保证通信的安全性。如果您的Flink作业要访问的Hive支持了Kerberos，则需要您先在实时计算控制台注册Hive Kerberos集群，然后在Flink作业中配置Kerberos集群...
《计算机信息网络国际联网安全保护管理办法》（公安部...
总则 第一条 为了加强对计算机信息网络国际联网的安全保护，维护公共秩序和社会稳定，根据《中华人民共和国计算机信息系统安全保护条例》、《中华人民共和国计算机信息网络国际联网管理暂行规定》和其他法律、行政法规的规定，制定本办法。...
Windows系统的ECS实例中安全审计日志简要说明
免责声明：本文档可能包含第三方产品信息，该信息仅供参考。阿里云对第三方产品的性能、可靠性以及操作可能带来的潜在影响，不做任何暗示或其他形式的承诺。概述 本文主要介绍在Windows系统的ECS实例中安全审计日志的相关内容。详细信息 ...
使用教程（时序模型）
Flink与Tablestore实例必须处于同一专有网络VPC。Tablestore实例的服务地址必须使用VPC地址。当前支持使用此功能的地域有华东1（杭州）、华东2（上海）、华北2（北京）、华北3（张家口）、华北6（乌兰察布）、华南1（深圳）、中国香港、...
大数据实时计算性能调优服务
项目计划、实施方法与内容》：实时计算性能调优交付范围 本服务包是针对flink sql/table api的调优服务 仅单个源表单个任务的实时作业调优服务 作业调优服务 效果验证服务 前期调研：【客户名称】集团的【XXX】部、【XXX】部、【XXX】部等...
使用HPL测试集群浮点性能
vim hpl.pbs 脚本内容示例如下：说明 本示例测试单节点的实测浮点峰值。如果您想测试多个节点的实测浮点峰值，可以修改脚本内容。bin/sh#PBS-j oe export MODULEPATH=opt/ehpcmodulefiles/module load linpack/2018 module load intel-mpi/...
CDC问题
作业重启时，MySQL CDC源表会从作业停止时的位置消费，还是从作业配置的位置重新消费？MySQL CDC源表如何工作，会对数据库造成什么影响？如何跳过Snapshot阶段，只从变更数据开始读取？如何读取一个分库分表的MySQL数据库？多个CDC作业导致...
概述
它在统一的计算资源和数据集权限体系之上，提供Spark计算框架，支持您以熟悉的开发使用方式提交运行Spark作业，满足更丰富的数据处理分析需求。使用限制 MaxCompute Spark支持如下场景：离线计算场景，例如GraphX、Mllib、RDD、Spark-SQL、...
Flink Python作业快速入门
本文带您快速体验Flink Python流作业和批作业的创建、部署和启动，以了解实时计算Flink版Python作业的操作流程。前提条件 如果您使用RAM用户或RAM角色等身份访问，需要确认已具有Flink控制台相关权限，详情请参见 权限管理。已创建Flink...
SQL作业开发
深度检查能够检查作业的SQL语义、网络连通性以及作业使用的表的元数据信息。同时，您可以单击结果区域的 SQL优化，展开查看SQL风险问题提示以及对应的SQL优化建议。可选：单击 调试。您可以使用作业调试功能模拟作业运行、检查输出结果，...
从Flink SQL导入
作业参数 说明 文件名称 作业的名称。说明 作业名称在当前项目中必须保持唯一。存储位置 指定该作业的存储位置。您还可以在现有文件夹右侧，单击 图标，新建子文件夹。引擎版本 当前作业使用的Flink的引擎版本。引擎版本号含义、版本对应...
Job
名称 类型 描述 示例值 object 本数据结构代表已部署作业生成的实例详情。jobId string 作业实例 ID。354dde66-a3ae-463e-967a-0b4107fd*deploymentId string 已部署作业 ID。354dde66-a3ae-463e-967a-0b4107fd*deploymentName string 已...
操作指导
本文为您介绍实时计算Flink版的操作指导方面的常见问题，包括控制台操作、网络连通性和JAB包等问题。控制台操作 登录实时计算控制台提示当前账号缺少权限 如何在OSS控制台上传JAR包？如何配置作业运行参数？如何开启GC日志？如何查找引发告...
数据开发常见问题
本示例执行结果如下。如何使用阿里云E-MapReduce HDFS的Balancer功能以及参数调优？登录待配置集群任意节点。执行以下命令，切换到hdfs用户并执行Balancer参数。su hdfs/usr/lib/hadoop-current/sbin/start-balancer.sh-threshold 10 执行...
SubmitFpShotJob-提交DNA作业
本接口为异步接口。不保证接口返回时结果已经生成，结果完成后将发送异步消息。DNA 相关接口功能，目前开通的地域为华北 2（北京）、华东 2（上海）、华东 1（杭州）、亚太东南 1（新加坡），其他地域暂不支持。其中，文本 DNA 相关功能，...
使用Flink将Kafka数据流式写入阿里云OSS
本示例通过Per-Job Cluster模式提交作业，其他方式请参见 基础使用。flink run-t yarn-per-job-d-c com.alibaba.ververica.dataflow.demo.oss.OssDemoJob \ dataflow-oss-demo-1.0-SNAPSHOT.jar \ --outputOssDir oss://xung*-flink-dlf-...
QuerySnapshotJobList-查询截图作业结果
本接口返回值默认按 CreationTime 降序排列。QPS 限制 本接口的单用户 QPS 限制为 100 次/秒。超过限制，API 调用会被限流，这可能会影响您的业务，请合理调用。更多信息，请参见 QPS 限制。调试 您可以在OpenAPI Explorer中直接运行该接口...
Flink SQL作业快速入门
深度检查能够检查作业的SQL语义、网络连通性以及作业使用的表的元数据信息。同时，您可以单击结果区域的 SQL优化，展开查看SQL风险问题提示以及对应的SQL优化建议。（可选）步骤五：进行作业调试 在作业开发页面顶部，单击 调试。您可以...
大数据上云及巡检服务内容说明
2、对应售前方案，确定迁移目标端所使用的阿里云大数据组件信息（规格、版本、网络连通性等），数据迁移方式（存量迁移方式/增量迁移方式），作业迁移方式，迁移工具，一致性校验标准。数据迁移设计 基于需求详细调研的结果，设计【XXX】...
通信能力技术服务协议
无论是否实际阅读本协议，您通过网络页面点击确认本协议或实际使用阿里服务，均表示您与阿里已就本协议达成一致并同意接受本协议的全部约定内容。如果您不同意本协议的任意内容，或者无法准确理解阿里对条款的解释，请不要同意本协议或使用...
Python作业开发
dateutil 2.8.0 pytz 2021.1 requests 2.25.1 rsa 4.7.2 setuptools 47.1.0 six 1.15.0 typing-extensions 3.7.4.3 urllib3 1.26.3 wheel 0.36.2 使用限制 由于Flink受部署环境、网络环境等因素的影响，所以开发Python作业，需要注意以下...
迁移操作
本文为您介绍如何将Bayes上的作业迁移到 实时计算开发控制台，包括迁移步骤、使用限制和注意事项。前提条件 您已具备Bayes对应项目的Owner权限和目标Flink项目空间的Owner权限，Flink权限管理详情，请参见 权限管理。Flink工作空间和Bayes...
JAR作业开发
使用限制 受部署环境、网络环境等因素的影响，开发DataStream作业，需要注意以下限制：仅支持JAR形式的作业提交和运行，支持一个主JAR包和多个附加依赖JAR包。不支持在Main函数中读取本地配置。产品运行环境使用的是JDK 1.8，作业开发也...
- 产品推荐
- 这些文档可能帮助您