Docker 作业提交
BatchCompute 中,提交作业时使用 docker 与普通 VM 作业基本相同，只是在设置作业参数时有稍微区别。1.DAG 作业 1.1 使用支持 Docker 的 ImageId 需要将集群描述的 ImageId 指定为 BatchCompute 的公共镜像的 Id（支持 Docker 镜像,ID 为 ...
方案背景
本文介绍了表格存储结合实时计算Flink实现大数据分析的样例场景、架构设计等。背景信息 云数据库RDS MySQL基于阿里...在Flink流计算作业中关联消费记录和商品信息数据并写入表格存储中。基于表格存储多元索引或者SQL查询功能进行数据分析。
公告
此功能对应MaxCompute管理控制台的 作业运维，作业运维 已经全部覆盖原有能力，详情请参见 作业运维（新版）。优化推荐（部分区域支持）：在DataWorks的数据治理已经全部覆盖原有能力，包括任务持续空输出、持续全表扫描以及适合启用动态...
使用Python依赖
您可以在Flink Python作业中使用自定义的Python虚拟环境、第三方Python包、JAR包和数据文件等，本文为您介绍如何在Python作业中使用这些依赖。背景信息 本文通过以下场景为您介绍如何使用Python依赖：使用自定义的Python虚拟环境 使用第三...
基于Flink+Paimon搭建流式湖仓
SQL作业中通过SET语句指定的配置项也可以在 作业 运维 页面的作业 部署详情 页签指定，详见 如何配置作业运行参数？Paimon写入性能优化请参见 Apache Paimon官方文档。创建CDAS同步作业。在 实时计算控制台 上，新建名为ods的SQL 流作业，...
迁移到新服务器上的PHP网站，使用浏览器访问时提示...
本文介绍迁移到新服务器上的PHP网站，使用浏览器访问时提示“不支持MySQL”等信息的问题描述、问题原因和解决方案。问题描述 PHP网站（该网站需使用PHP执行程序代码）迁移到新服务器后，在使用浏览器访问时提示如下任意一种信息。系统不...
Flink Python参考
如果您的第三方Python包是源码包，且源码包的根目录下存在 setup.py 文件，则这种类型的第三方Python包通常需要先编译才能被使用。您可以选择以下方式编译第三方Python包：在DataFlow集群的某个节点编译第三方Python包。使用 quay.io/pypa/...
企业级状态后端存储介绍
说明 Nexmark 属于第三方搭建的网站，访问时可能会存在无法打开或访问延迟的问题。结果显示GeminiStateBackend对作业整体效能（单核吞吐能力）的优化效果十分显著，具体数据如下表所示。CaseName Gemini TPS/Core RocksDB TPS/Core Gemini ...
通过安装TOA模块获取真实请求来源IP
sudo chmod+x/etc/sysconfig/modules/vtoa.modules 方式二：通过源码加载TOA模块 访问 TOA源码下载链接，下载源码包。内核版本为2.x时，请使用 toa_kernel2.x 文件。内核版本为3.x时，请使用 toa_kernel3.x文件。内核版本 4.x/5.x时，请...
算法说明
例如监控网站流量异常，分析流量异常时是哪些地域的访问或者哪些渠道的访问异常导致的。参数配置 您可以在 创建下探分析作业 配置向导的 算法配置 步骤中，完成算法配置。具体操作，请参见 创建作业。参数 说明 观测长度 表示最近时序数据...
前言
防盗链 CORS 静态网站托管（镜像回源）删除存储空间 BucketTaggingSample.java 存储空间标签 BucketInventorySample.java 存储空间清单 BucketPolicySample.java 授权策略 BucketWormSample.java 合规保留策略 SetRequestPaymentSample....
快速入门
本文以开发WordCount MapReduce作业为例，为您介绍如何通过MaxCompute Studio编写MapReduce程序及生成JAR包，并在MaxCompute客户端上运行MapReduce作业。前提条件 请确认您已满足如下条件：已安装并配置MaxCompute客户端。更多安装并配置...
2020年
2020-12-21 所有区域 项目级别Information Schema 运行中作业快照Information_Schema.Tasks内测发布 以Information_Schema.Tasks视图方式，提供当前运行中作业的详细信息，包括作业列表以及各作业CPU、内存使用大小和资源占比、运行时长等...
工作原理
场景二：从某个历史时间点开始执行下探分析作业 在指定的时间点创建下探分析作业后，按照作业规则对历史数据进行处理，算法模型会快速消费历史数据，并逐渐追上当前时间。场景三：修改调度配置 修改调度配置后，下一个实例按照新配置生成。...
Apache Log4j 0Day安全漏洞公告说明
说明 对于未运行的作业，您可以通过作业模板配置该参数后，后续创建的作业都会应用该参数；对于已运行的作业，您可以在 其他配置 中配置 env.java.opts:'-Dlog4j2.formatMsgNoLookups=true'，具体操作请参见 如何配置作业运行参数？检查...
Serverless Spark概述
开通DLA服务后，您只需简单的配置，就可以提交Spark作业，无需关心Spark集群部署。重要 云原生数据湖分析（DLA）产品已退市，云原生数据仓库 AnalyticDB MySQL 版 湖仓版支持DLA已有功能，并提供更多的功能和更好的性能。AnalyticDB for ...
前言
SDK 源码 SDK源码请参见 GitHub。示例代码 OSS C++ SDK提供丰富的示例代码，方便您参考或直接使用。示例代码包括以下内容：示例文件 示例内容 PutObjectFromFile 上传文件 GetObjectToFile 下载文件 AppendObject 追加上传 ...
访问RDS MySQL数据源
通过ENI访问RDS MySQL数据 上传驱动程序及Spark作业依赖的Jar包 编写访问RDS MySQL表的示例程序（即Spark作业依赖的Jar包），并进行编译打包。本文生成的Jar包名称为 rds_test.jar。示例代码如下：package ...
缓存 Tomcat session 变量
This is(TOMCAT1),SESSION ID:CAC189E5ABA13FFE29FCB1697F80182B-OCS 注意：在网站负载较低情况下，能正常使用 Memcache 来缓存 tomcat session。如果负载较高，即发现 session 频繁失效，需要升级 Memcache 规格才能正常使用。
前言
SDK源码和API文档 SDK源码请参见GitHub地址：GitHub。更多信息请参见 API Doc。示例代码 OSS C#SDK提供丰富的示例代码。您可以从 GitHub 获取示例代码。示例代码包括以下内容：示例文件 示例内容 PutObjectSample.cs 上传文件 ...
2023年
GetRunningJobs-获取运行态的作业列表 2023-08-24 新增GetJobResourceUsage-获得作业执行者级别的资源使用列表 新说明 指定时间范围内，针对已结束的全部作业进行统计，以“天”为级别展示作业执行者级别的资源使用总量。...
前言
源码地址 请访问 GitHub 获取源码地址。示例代码 OSS PHP SDK提供丰富的示例代码，方便您参考或直接使用。示例代码包括以下内容：示例文件 示例内容 Object.php 文件的相关操作，包括 上传文件、下载文件 和 管理文件 等 MultipartUpload....
使用Intel oneAPI编译运行LAMMPS
bin/bash#PBS-N testLmp#设置作业名称#PBS-l nodes=2:ppn=2#向调度器申请2个计算节点，每个计算节点使用两个进程运行该作业 export I_MPI_HYDRA_BOOTSTRAP=ssh cd$PBS_O_WORKDIR mpirun./lmp_intel_cpu_intelmpi-in./in.intel.lj 执行以下...
MapReduce常见问题
Hadoop MapReduce的源码，能否直接应用于MaxCompute MapReduce？MapReduce如何实现排序？MapReduce中的Backups是什么？开发MapReduce 开发MapReduce时，如何在命令行传入多个资源？在Main方法中如何判断一个表为空表？在MaxCompute ...
前言
SDK源码和API文档 请访问 GitHub 获取OSS Go SDK源码。更多信息，请参见 OSS Go SDK API文档。示例程序 OSS Go SDK提供丰富的示例程序，方便您参考或直接使用。示例包括以下内容：示例文件 示例内容 new_bucket.go 初始化Client create_...
CDC问题
作业重启时，MySQL CDC源表会从作业停止时的位置消费，还是从作业配置的位置重新消费？MySQL CDC源表如何工作，会对数据库造成什么影响？如何跳过Snapshot阶段，只从变更数据开始读取？如何读取一个分库分表的MySQL数据库？多个CDC作业导致...
开发MapReduce
编写MapReduce 在 Project 区域，右键单击Module的源码目录（即 src>main>java），选择 new>MaxCompute Java。填写 Name 并选择类型为 Driver，按下Enter键。Name：创建的MaxCompute Java Class名称。如果还没有创建Package，在此处填写 ...
前言
源码地址 请访问 GitHub 获取源码。示例代码 OSS Python SDK提供丰富的示例代码，方便您参考或直接使用。示例包括以下内容：示例文件 示例内容 bucket.py 创建存储空间 列举存储空间 获取存储空间的地域 获取存储空间信息 判断存储空间是否...
自定义标量函数（UDSF）
说明 python_demo-master 属于第三方搭建的网站，访问时可能会存在无法打开或访问延迟的问题。在PyCharm中，单击 file>open，打开刚才解压缩完成的 python_demo-master。双击打开 \python_demo-master\udx\udfs.py 后，根据您的业务，修改 ...
自定义聚合函数（UDAF）
说明 User-defined Functions 和下文中的 ASI_UDX_Demo 属于第三方搭建的网站，访问时可能会存在无法打开或访问延迟的问题。UDAF开发 说明 Flink为您提供了UDF示例，便于您快速开发业务。Flink UDF示例中包含UDSF、UDAF和UDTF的实现，示例...
统计MaxCompute TOPN费用账号及耗时作业
数据开发者在使用MaxCompute开发过程中，需要统计MaxCompute项目中账号的费用以及作业的耗时情况，助力合理规划和调整作业。本文为您介绍如何通过MaxCompute元数据（Information Schema）统计TOP费用账号及耗时作业，同时通过钉钉推送到...
搭建Linux开发环境
sudo tar-zxvf v2.17.0.tar.gz#安装编译源码所需依赖。sudo yum install curl-devel expat-devel gettext-devel openssl-devel zlib-devel gcc perl-ExtUtils-MakeMaker#切换到解压后的目。cd git-2.17.0#编译。sudo make prefix=usr/local...
管理应用
Serverless 应用引擎 SAE（Serverless App Engine）是一款极简易用、自适应弹性的容器化应用平台，提供全托管的计算服务来运行您的程序，支持网站、小程序、APP以及微服务应用。本文介绍如何在 SAE 控制台创建、更新、删除以及启停应用。...
OSS
conf":{"spark.driver.resourceSpec":"medium","spark.executor.resourceSpec":"medium","spark.executor.instances":2,"spark.dla.connectors":"oss"} } 说明 SparkReadOss 对应的源码可以参考 DLA Spark OSS demo。启用OSS数据写入性能...
前言
研发环境 研发环境准备 介绍开发插件所需研发环境以及插件源码准备。脚手架项目介绍 介绍插件脚手架工程结构。编译、调试、打包 简单介绍插件的开发编译、调试和打包使用。快速开始 HTTP 插件的上传和部署 快速体验 HTTP 插件开发完成后的...
按量付费闲时版
SpotQuota且引用了OTS、OSS外部表的SQL作业）引用外部表的SpotSQL作业当日总费用=计算输入数据量×单价 计费单价如下：公共云：0.03元/GB 金融云：0.057元/GB SpotMapReduce作业（指计算配额为os_SpotQuota的MapReduce作业）SpotMapReduce...
方案实现
} } 结果示例如下：商品ID:A001,交易总额:20.0 商品ID:A002,交易总额:40.0 商品ID:A004,交易总额:20.0 商品ID:A003,交易总额:5.0 商品ID:A005,交易总额:15.0 商品ID:A006,交易总额:5.0 商品ID:A008,交易总额:5.0 通过SQL查询进行数据分析的...
智能外呼机器人的审计事件
describeCommodityInfo 查询商品信息。describeDialogueNodeStatistics 查询对话节点数据统计。describeDsReports 查询作业组命中标签统计。describeGroupExecutingInfo 返回任务执行情况。describeInstance 查询一个外呼实例。...
2023年
当您遇到作业运行较长时间仍未结束、或当作业运行结束后发现 作业运行时长不达预期（作业运行慢）时，您可以通过作业分析的资源消耗页签查看是否为计算资源紧张、多作业资源抢占导致，然后依据实际业务情况优化任务执行情况，进行作业优先...
实时计算Flink版的审计事件
GetCommodityCode 查询商品Code。GetOrderDetails 返回订单详情。GetRawPlanJson 变更超时时间。ListBlinkTagResources 查询Blink标签。ListOssInfo 查询用户OSS信息。ListSupportedZone 查询支持的Zone。ListTagKeys 查询标签键。...
- 产品推荐
- 这些文档可能帮助您