如何通过云效进行函数计算（FC）发布
二、云效解决方案 通过云效持续交付流水线和函数计算（FC）很好的结合在一起，为应用的持续交付提供了很好的基础保障，如下图：开发者提交代码变更到代码库，云效在监听着代码库的变动，一旦代码发生变化，将自动触发流水线一次构建任务的...
部署PHP ZIP应用至SAE
在 流程配置 页签，在 添加流水线源 面板的左侧导航栏，选择 代码源，配置代码源信息，单击 添加。选择代码源：单击 Codeup。代码仓库：选择 sae-demo-php。默认分支：选择 master。步骤四：在云效部署应用至SAE 本步骤将云效Codeup代码...
CreateJob-创建任务
您可以指定数据源配置、代码源配置、启动命令以及任务运行的每个节点的计算资源配置等信息。接口说明 请确保在使用该接口前，已充分了解 PAI-DLC 产品的收费方式和 价格。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的...
如何关联Jenkins进行持续集成？
Jenkins 代码源配置 Step1：新建 Jenkins 任务 首先，新建期望的 Jenkins 任务，然后准备配置代码源。Step2：进入任务配置页面 选择源码管理-Git：Step3：源码管理配置 选择Git，填入Codeup仓库地址，例如：...
Docker 作业提交
BatchCompute 中,提交作业时使用 docker 与普通 VM 作业基本相同，只是在设置作业参数时有稍微区别。1.DAG 作业 1.1 使用支持 Docker 的 ImageId 需要将集群描述的 ImageId 指定为 BatchCompute 的公共镜像的 Id（支持 Docker 镜像,ID 为 ...
大数据上云及巡检服务内容说明
3.分析目标作业与源作业的兼容性，提供作业改造建议以及sql代码检查建议。4.根据甲方验收反馈确保最终交付物符合验收标准 方案验证阶段 1.根据作业兼容性分析、sql改造建议，进行1个示例作业改造，并进行业务验证 2.验证数据迁移方案 1....
MapReduce支持SQL运行时执行模式
MaxCompute新增支持将MapReduce作业指定为SQL运行时（Runtime）执行模式，基于SQL运行时，MapReduce作业可以应用SQL引擎的各种新特性，实现之前不支持的功能。本文为您介绍如何将MapReduce作业指定为SQL运行时执行模式。背景信息 ...
机器学习的审计事件
CreateCodeSource 创建一个代码源配置。CreateComponent 创建组件。CreateComponentVersion 创建组件版本。CreateDataset 创建数据集。CreateDatasetLabels 创建或更新数据集的标签。CreateDataSource 创建一个数据源。...
通过实时计算订阅数据
依次双击 DataHub 数据存储>项目名称（datahub_test_datav）>表名（mytable），选择右侧的 作为输入表引用，在开发作业中引用数据源。依次双击 RDS 数据存储>数据库名称（datav_test）>表名（target_table），选择右侧的 作为结果表引用，...
CREATE DATABASE AS（CDAS）语句
示例三：源库新增表加入数据同步 使用VVR 8.0.6及以上版本时，CDAS作业启动后，如果源库新增表，支持从作业快照重启，从而捕获到新的表，对新增表进行数据同步。SQL作业开发时需要增加以下语句，开启CDAS新增表读取功能。SET 'table.cdas....
MySQL整库同步Kafka
在使用中，同一张MySQL表可能被多个作业依赖，当多个任务使用同一张MySQL表做处理时，MySQL数据库会启动多个连接，对MySQL服务器和网络造成很大的压力。为了缓解对上游MySQL数据库的压力，阿里云Flink实时计算已提供MySQL整库同步到Kafka的...
配置自定义页面
404 请求服务器上不存在的网页时，返回此代码。405 禁用请求中指定的方法时，返回此代码。414 请求的URL过长服务器无法处理时，返回此代码。416 页面无法提供请求的范围时，返回此代码。500 服务器遇到错误无法完成请求时，返回此代码。501...
PHP SDK收发消息
cd/etc/yum.repos.d/创建yum源配置文件 confluent.repo。[Confluent.dist]name=Confluent repository(dist)baseurl=...
静态网站托管（镜像回源）
您可以将存储空间（Bucket）设置为静态网站托管模式并设置镜像回源的跳转规则（RoutingRule）。静态网站托管模式配置生效后，访问网站相当于访问Bucket，并且能够自动跳转至指定的索引页面和错误页面。镜像回源的跳转规则配置生效后，可...
管理SLS Catalog
SLS Catalog提供的表可以直接作为Flink SQL作业中的源表和结果表使用，不支持作为Lookup维表。创建SLS Catalog 在 查询脚本 文本编辑区域，输入配置SLS Catalog的命令。CREATE CATALOG<catalogName>WITH('type'='sls','endpoint'='...
从Flink SQL导入
Flink全托管为您提供了丰富的SQL代码模板和数据同步模板，每种模板都为您提供了使用场景、代码示例和使用指导。您也可以直接单击对应的模板进行使用，快速实现您的业务逻辑，详情请参见 代码模板 和 数据同步模板。单击 下一步。在 新建...
基于Flink+Hologres搭建实时数仓
在 实时计算控制台 上，新建名为DWD的SQL作业，并将如下代码拷贝到SQL编辑器后，部署 并 启动 作业。通过如下SQL作业，orders表会与product_catalog表进行维表关联，将最终结果写入dwd_orders表中，实现数据的实时打宽。BEGIN STATEMENT ...
静态网站托管（镜像回源）
您可以将存储空间（Bucket）设置为静态网站托管模式并设置镜像回源的跳转规则（RoutingRule）。静态网站托管模式配置生效后，访问网站相当于访问Bucket，并且能够自动跳转至指定的索引页面和错误页面。镜像回源的跳转规则配置生效后，可...
DataStream连接器设置方法
MaxCompute增量源表的项目依赖代码示例如下。groupId>com.alibaba.ververica</groupId> <artifactId>ververica-connector-continuous-odps</artifactId> <version>${connector.version}</version></dependency>除connector外，...
搭建基础环境
在进行自建Flink作业迁移前，需要先搭建基础环境。基础环境用于演示作业迁移的过程，如果您已经有了自建Flink环境，则可以不用搭建基础环境。本文为您介绍如何搭建基础环境。背景信息 CADT是一个云资源创建工具，借助该工具，您可以快速...
基于Flink+Hologres搭建实时数仓
在 实时计算控制台 上，新建名为ODS的SQL流作业，并将如下代码拷贝到SQL编辑器。CREATE DATABASE IF NOT EXISTS dw.order_dw-创建catalog时设置了table_property.binlog.level参数，因此通过CDAS创建的所有表都开启了binlog。AS DATABASE ...
快速提交MPIJob训练任务
提交 MPIJob类型的 训练任务 提交分布式训练任务的具体操作步骤如下：步骤一：准备代码源 使用官方Deepspeed examples代码合集创建代码集，其中关键参数配置如下，其他参数取默认配置。具体操作，请参见 代码配置。名称：自定义代码集名称...
概览
Flink的源表指定为Hologres时，使用的是批量导入而非流式导入，Hologres会将全表的数据统一扫描一次后再输出至下游，扫描完成后本次作业结束。维表 维表一般适用于点查询场景（Lookup by Key)，因此在Hologres中，维表建议使用行存储，并且...
StarRocks
DataWorks的StarRocks节点可进行StarRocks任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用StarRocks节点进行任务开发的主要流程。背景信息 StarRocks是新一代极速全场景MPP（Massively Parallel Processing）数据库，...
Oracle节点
DataWorks的Oracle节点可进行Oracle任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用Oracle节点进行任务开发的主要流程。背景信息 Oracle是用于存储和处理数据的关系型数据库管理系统（RDBMS），为您提供可靠、高效且...
SQL Server节点
DataWorks的SQL Server节点可进行SQL Server任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用SQL Server节点进行任务开发的主要流程。背景信息 SQL Server是用于存储和处理数据的关系型数据库管理系统（RDBMS），为您...
PostgreSQL节点
DataWorks的PostgreSQL节点可进行PostgreSQL任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用PostgreSQL节点进行任务开发的主要流程。背景信息 PostgreSQL是一款功能强大、灵活的开源关系型数据库管理系统（RDBMS），...
基于Flink+Paimon搭建流式湖仓
SQL作业中通过SET语句指定的配置项也可以在 作业 运维 页面的作业 部署详情 页签指定，详见 如何配置作业运行参数？Paimon写入性能优化请参见 Apache Paimon官方文档。创建CDAS同步作业。在 实时计算控制台 上，新建名为ods的SQL 流作业，...
产品动态
2023-01 全部 跨账号迁移CDN域名 指定源站HOST 若您的加速域名有多个源站，给不同的源站配置不同的回源HOST，CDN节点访问指定源站时，将会携带指定源站的回源HOST，指定源站回源HOST功能的生效优先级高于默认源站HOST。2023-01 全部 指定源...
实时计算Flink版实时消费Hologres
源表DDL代码示例如下。CREATE TABLE test_message_src_binlog_table(hg_binlog_lsn BIGINT,hg_binlog_event_type BIGINT,hg_binlog_timestamp_us BIGINT,id INTEGER,title VARCHAR,body VARCHAR)WITH('connector'='hologres','dbname'='...
CREATE TABLE AS（CTAS）语句
通过CTAS语句，在实时同步数据的同时，还能实时将上游表结构（Schema）的变更同步到下游表，提高您在目标存储中创建表和维护源表结构变更的效率。本文为您介绍CREATE TABLE AS（CTAS）的使用方法，并提供了多种使用场景下的示例。前提条件 ...
Task快速重启配置
使用限制 不能在有限数据源的流作业中使用。无法与Unaligned Checkpoint共同使用。无法在批作业中使用。同一个Session集群内无法同时运行未配置和配置了Task快速重启的作业。若作业中有算子实现了prepareSnapshotPreBarrier方法，或在运行...
上下游存储
全量MaxCompute和增量MaxCompute源表作业是否支持暂停作业后修改并发数，再恢复作业？作业启动位点设置了2019-10-11 00:00:00，为什么启动位点前的分区也会被全量MaxCompute源表读取？增量MaxCompute源表监听到新分区时，如果该分区还有...
管理MaxCompute Catalog
配置MaxCompute Catalog后，您可以在Flink全托管作业开发中直接访问 MaxCompute 中存储的表，无需再定义Schema。本文为您介绍如何在Flink全托管模式下创建、查看、使用及删除MaxCompute Catalog。背景信息 MaxCompute Catalog通过查询...
调用OpenAPI配置Redis企业版实例间单向或双向数据同步
本文介绍相关注意事项及示例代码。前提条件 源和目标实例为 阿里云Redis企业版 实例（5.0版本）。说明 单向同步时，不支持源实例为容量存储型；双向同步时，不支持源和目标实例为容量存储型。源云数据库Redis为企业版（持久内存型）时，...
示例项目使用说明
示例项目 示例名称如下所示，详情代码示例请参见 集群运行。MapReduce WordCount：单词统计 Hive sample.hive：表的简单查询 Pig sample.pig：Pig处理OSS数据实例 Spark SparkPi：计算Pi SparkWordCount：单词统计 LinearRegression：线性...
SQL查询概述
Dataphin分析平台提供SQL查询功能，可在平台上创建SQL查询并编写SQL代码查询所需的数据，同时支持根据查询结果进行可视化统计与分析。应用场景 提取并下载数据：通过SQL查询可以对计算源中的数据进行提取、聚合、过滤、排序等操作，并支持...
SQL查询概述
Dataphin分析平台提供SQL查询功能，可在平台上创建SQL查询并编写SQL代码查询所需的数据，同时支持根据查询结果进行可视化统计与分析。应用场景 提取并下载数据：通过SQL查询可以对计算源中的数据进行提取、聚合、过滤、排序等操作，并支持...
Spark Streaming
本文介绍DLA Serverless Spark如何提交Spark Streaming作业以及Spark Streaming作业重试的最佳实践。前提条件 在DLA Serverless Spark中运行Spark Streaming作业前，您需要完成以下准备工作：授权DLA Serverless Spark访问用户VPC网络的...
Spark FAQ
常见问题 如何处理Spark作业报错：The VirtualCluster's name is invalid or the VirtualCluster's is not in running state？如何处理Spark作业报错：User%s do not have right permission[*]to resource[*]？如何处理Spark作业报错：No ...
- 产品推荐
- 这些文档可能帮助您