MapReduce常见问题
不使用Combiner时输出正常，使用Combiner后Reduce没有输入，是什么原因？在MapOnly中，为什么程序没有指定输出Table的Schema格式？如何在本地调用MaxCompute服务器运行MapReduce任务？常见报错 执行MaxCompute MapReduce时，报错...
概述
其输入与输出是一对一的关系，即读入一行数据，写出一条输出值。详情请参见 自定义标量函数（UDSF）。UDAF（User Defined Aggregation Function）自定义聚合函数，将多条记录聚合成1条记录。其输入与输出是多对一的关系，即将多条输入记录...
聚合函数
聚合（Aggregate）函数的输入与输出是多对一的关系，即将多条输入记录聚合成一条输出值。本文介绍数据分析支持的聚合函数的命令格式、参数说明及示例。说明 物联网数据分析中，仅在指标配置中支持聚合函数。具体操作，请参见 新增指标。AVG...
常见问题
您可以使用 云工作流 编排一系列的函数资源，同时定义流程中每一步的输入和输出，使用内置控制步骤编排复杂逻辑、发起并行执行、管理超时或终止流程。另外通过 云工作流 的控制台能够使用图形界面显示出执行任务状态和执行顺序，同时 云...
并行循环步骤
并行循环步骤类似于编程语言中的 foreach，不同之处是这里的迭代是并行执行的。并行循环步骤的每次迭代执行都对应一个本地变量。执行并行循环步骤会对输入参数里的每个元素并发执行串行步骤。这些串行步骤会改变其迭代对应的本地变量。当...
基本概念
应用/App 基因分析应用，使用流程描述语言（如 Workflow Description Language，WDL）编写的标准的、参数化的生物信息分析流程，清晰定义了分析的输入输出、运行环境和软件依赖等，通常包含多个具有依赖关系的分析步骤。平台提供中心化的...
MapReduce
与经典的MapReduce框架协议不同，在MaxCompute中，Combiner的输入、输出的参数必须与Reduce保持一致，这部分的处理通常也叫做 洗牌（Shuffle）。Reduce阶段：进入Reduce阶段，相同Key的数据会传送至同一个Reduce Worker。同一个Reduce ...
PolarDB并行查询
串行优化与并行优化解耦，并行优化会重新构建抽象算子树，并以此为输入开始 enumeration。并行优化与并行计划生成解耦，优化的结果是计划子片段的抽象描述，作为输出进行 plan generation。这样就使执行策略的灵活性成为可能，允许在资源...
输入与输出
MaxCompute MapReduce的输入、输出，支持MaxCompute内置类型的Bigint、Double、String、Datetime和Boolean类型，不支持您自定义数据类型。接受多表输入，且输入表的Schema可以不同。在Map函数中，您可以获取当前Record对应的Table信息。...
自定义RDBMS数据库及同步数据
本教程中添加源表 xin_test_scr2 中的 id 和 name 字段为输入组件的输出字段：在 输出字段 区域，单击 新建输出字段。填写 输出字段 为 id，类型 选择为 String。单击 新建输出字段。填写 输出字段 为 name，类型 选择为 String。custom_...
自定义RDBMS数据库及同步数据
本教程中添加源表 xin_test_scr2 中的 id 和 name 字段为输入组件的输出字段：在 输出字段 区域，单击 新建输出字段。填写 输出字段 为 id，类型 选择为 String。单击 新建输出字段。填写 输出字段 为 name，类型 选择为 String。custom_...
通过配置文件管理管道
Logstash通过管道完成数据的采集与处理，管道配置中包含input、output和filter（可选）插件，input和output用来配置输入和输出数据源、filter用来对数据进行过滤或预处理。阿里云Logstash支持多管道并行运行，目前最多支持20个。本文介绍...
示例代码
公网地址调用的TensorFlow示例（调用Caffe可以参考该示例，二者的输入输出一致）。VPC地址调用的TensorFlow示例（调用Caffe可以参考该示例，二者的输入输出一致）。服务调用Python SDK 服务调用的Python SDK封装了多线程连接池、请求数据...
PolarDB处理TPC-H查询的挑战和机遇
Detecting Correlation cardinality estimation存在以下问题：如何捕获2列之间的相关性->目标列是什么？如何量化衡量2列间的相关性->如何描述相关性？针对第一个问题，一般会采用查询反馈的方案。也就是在初始时，并不假定其相关性，然后在...
自定义血缘配置
每个输入输出配置将同时生成表级血缘和字段级血缘。例如：输入表1选择table A的a字段，输入表2选择table B的b字段，输出表选择table C的c,d字段，则会生成以下血缘关系：表级血缘：table A->table C;table B->table C。字段级血缘：table A...
自定义血缘配置
每个输入输出配置将同时生成表级血缘和字段级血缘。例如：输入表1选择table A的a字段，输入表2选择table B的b字段，输出表选择table C的c,d字段，则会生成以下血缘关系：表级血缘：table A->table C;table B->table C。字段级血缘：table A...
创建任务工作负载Job
关于ACR的更多信息，请参见 什么是容器镜像服务ACR。容器镜像服务个人版：可以选择托管在容器镜像服务ACR中的个人版镜像。需要选择镜像所属地域，以及镜像服务实例。制品中心：包含应用容器化基础OS镜像、基础语言镜像、AI/大数据相关镜像...
编辑脚本
脚本输入/输出配置说明 不同类型的脚本需配置的输入输出不同，如下：只有脚本类型为 创建联邦表、预处理规则 和 预处理应用 的脚本需配置输出数据，且该类型脚本的输出数据保存在联邦表文件夹中。脚本类型 输入配置 输出配置 创建联邦表 ...
前言
App 是什么 App 是批量计算中资源配置的模板，包括使用什么镜像、什么实例类型、VM 个数。镜像中封装了运行作业的程序或算法，使用 App 提交作业，只需要指定输入数据和输出路径即可以运行作业，而不用关心上述的资源配置以及程序运行的...
数据传递
Input=$Context.Current.Input$Output=$Context.Current.Output 数据传递 不同类型的状态（State）之间存在不同的输入输出传输逻辑，在没有输入输出构造器定义的情况下，不同状态（State）的输入输出逻辑如下。传递（Pass）/成功（Succeed...
并行（Parallel）
请参见 输入构造器 Branches ParallelBranch 是 并行分支。详见 ParallelBranch OutputConstructor map[string]any 否 输出构造器。请参见 输出构造器 Next string 否 当前状态的下一状态。当End取值为true时，无需指定。my-next-state End...
函数对象
MySQL 模式下不支持设定参数模式，Oracle 模式下支持三种参数模式 IN(输入)、OUT(输出)、INOUT(输入输出):IN:输入参数，调用函数时将参数的值传入函数供执行函数时使用。OUT：输出参数，调用函数时，函数会忽略输出参数本身的值并传入一个...
功能简介
支持通过可视化方式配置上下游计算节点的依赖关系，并配置输入、输出参数的对应关系。支持根据配置的输入信息，自动解析外部依赖节点信息。支持输入和输出参数选择任意结构。支持开发场景的运行和上线。支持自动生成数据质量检查节点（当...
功能简介
支持通过可视化方式配置上下游计算节点的依赖关系，并配置输入、输出参数的对应关系。支持根据配置的输入信息，自动解析外部依赖节点信息。支持输入和输出参数选择任意结构。支持开发场景的运行和上线。支持自动生成数据质量检查节点（当...
输入和输出
步骤的输入、输出和本地变量总大小不能超过32 KiB，否则会导致流程执行失败。如果一个步骤包含另一个步骤，则称外层步骤为父步骤，被包含步骤为子步骤。最外层步骤的父步骤是流程。如果两个步骤的父步骤相同，则这两个步骤是同级步骤。流程...
数据开发
支持通过可视化方式配置上下游计算节点的依赖关系，并配置输入、输出参数的对应关系。支持根据配置的输入信息，自动解析外部依赖节点信息。支持输入和输出参数选择任意结构。支持开发环境场景的部署、运行和上线。支持自动生成数据质量检查...
条件触发
功能说明 条件触发组件是针对单输入单输出，给定输入参数，根据不同的判断条件输出结果。目前支持5种判断条件。计算逻辑原理 小于：输入值小于设定值（不包含设定值）且连续满足周期数次，输出1否则输出0；大于：输入值大于设定值（不包含...
代码解析结果对比
功能介绍 提交节点时，若节点当前版本的调度依赖（即在 调度配置>调度依赖 区域配置的输入输出）与该节点在生产环境的调度依赖不一致，将出现输入输出变更提示（例如，当前最新版本与上个版本比较，新增或删除了哪些输入或输出）。...
使用MapReduce处理JindoFS上的数据
JindoFS目前已兼容大部分HDFS接口，只需要将MapReduce作业的输入、输出目录配置到JindoFS，即可实现读写JindoFS上的文件。Hadoop MapReduce是一个使用简易的软件框架，基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上，...
依赖关系
提交节点时提示：输入输出和代码血缘分析不匹配 提交节点时，系统出现提示，输入输出和代码血缘分析不匹配。可能出现的原因及解决方案，详情请参见 提交节点时提示：输入输出和代码血缘分析不匹配。为什么自动解析的父节点名会报依赖的父...
新建开发环境场景并运行
节点流程中所有节点的输入、输出数据都是具体的数据表、文件、数据流。步骤一：新建开发环境场景 登录企业数据智能平台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。说明 若您已在 ...
新建开发环境场景并运行
节点流程中所有节点的输入、输出数据都是具体的数据表、文件、数据流。步骤一：新建开发环境场景 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。说明 若您已在 ...
pg_dump
d 即 directory：输出适合作为pg_restore输入的目录格式的存档文件。默认情况下，此格式的存档文件是压缩文件，并且支持并行备份。t 即 tar：输出适合作为pg_restore输入的 tar 格式的存档文件。tar 格式的存档文件不支持压缩。另外，当...
Web客户端漏洞类型
常见发生位置：所有涉及到用户可控的输入输出点，如个人信息、文章、留言等。防御措施：对重要的Cookie字段使用HTTPOnly参数。检查所有用户可控输入。对所有的输入点进行严格的检查，过滤或拦截所有不符合当前语境的输入。由于一般无法预期...
ST_Union
形式2：是一个聚合功能函数，输入对象是一个Geometry对象的集合，输出类型可能是Multi类型或非Multi类型。ST_Collect 和ST_Union经常可以互换使用。ST_Collect一般来说要比ST_Union快很多，因为ST_Collect不会去分解输入Geometry对象的边界...
ST_Union
形式2：是一个聚合功能函数，输入对象是一个Geometry对象的集合，输出类型可能是Multi类型或非Multi类型。ST_Collect 和ST_Union经常可以互换使用。ST_Collect一般来说要比ST_Union快很多，因为ST_Collect不会去分解输入Geometry对象的边界...
ST_Union
形式2：是一个聚合功能函数，输入对象是一个Geometry对象的集合，输出类型可能是Multi类型或非Multi类型。ST_Collect 和ST_Union经常可以互换使用。ST_Collect一般来说要比ST_Union快很多，因为ST_Collect不会去分解输入Geometry对象的边界...
并行查询
混合并行 混合并行是指分区间和分区内都可以并行执行，以达到分区表整体的并行执行，这是并行度最高的一种并行查询。EXPLAIN(COSTS OFF)select*from prt1;QUERY PLAN-Gather Workers Planned:8->Parallel Append->Parallel Seq Scan on prt...
并行查询
混合并行 混合并行是指分区间和分区内都可以并行执行，以达到分区表整体的并行执行，这是并行度最高的一种并行查询。EXPLAIN(COSTS OFF)select*from prt1;QUERY PLAN-Gather Workers Planned:8->Parallel Append->Parallel Seq Scan on prt...
并行查询
混合并行 混合并行是指分区间和分区内都可以并行执行，以达到分区表整体的并行执行，这是并行度最高的一种并行查询。EXPLAIN(COSTS OFF)select*from prt1;QUERY PLAN-Gather Workers Planned:8->Parallel Append->Parallel Seq Scan on prt...
- 产品推荐
- 这些文档可能帮助您