MapReduce
所谓分片，就是将输入数据切分为大小相等的数据块，每一块作为单个Map Worker的输入被处理，以便于多个Map Worker同时工作。Map阶段：每个Map Worker在读入各自的数据后，进行计算处理，最终输出给Reduce。Map Worker在输出数据时，需要为...
数据量
在数据库备份场景下，有4个概念：数据库磁盘空间、数据文件空间、备份数据量、存储数据量。数据量 说明 数据库磁盘空间 由数据库的数据文件空间、数据库的日志文件空间、操作系统文件空间和空闲空间组成。说明 RDS中为：购买时选择的存储...
常见问题
Linux系统的ECS中没有禁ping却ping不通的解决方法 当IIS搭建的网站显示“500-内部服务器错误”时如何查看真实报错信息 远程连接问题 无法远程连接Windows实例的处理方法 无法通过SSH远程登录Linux实例时的排查指引 如何查看和修改Windows...
初始化小于等于2 TiB数据盘（Linux）
一块全新的数据盘挂载到ECS实例后，还不能直接存储数据，通常您需要在数据盘进行分区、文件系统格式化、挂载文件系统等初始化操作后，才能供系统读写数据。本文介绍如何在Linux系统中初始化一块小于等于2 TiB的数据盘。前提条件 数据盘已...
数据源中心
数据源名称 是 输入数据源的名称。描述 否 输入数据源的描述。IP主机名 是 输入连接HIVE/IMPALA的IP地址。端口 是 HIVE/IMPALA 数据源类型对应的端口为10000。用户名 是 设置连接HIVE/IMPALA的用户名。密码 否 设置连接HIVE/IMPALA的密码。...
创建数据流
表名 选择或输入数据流输出数据的目标表。写入前执行语句 输入写入数据之前需要执行的SQL语句。写入后执行语句 输入写入数据之后需要执行的SQL语句。是否自动建表 打开或关闭 是否自动建表 开关。开关关闭：如果表不存在，在执行任务时不会...
在Ubuntu环境中交叉编译OSS-C-SDK
安装前的准备 下载arm-linux-gcc交叉编译器。OSS-C-SDK下载链接，请参见 前言。在Apache官网下载apr和apr-util源码。curl官网下载curl源码。从SourceForge官网下载2.9.1版本的mxml源码。在官网下载expat源码。开始安装 安装arm-linux-gcc ...
输入节点
当选择数据表时，需保证模型与下游节点的输入数据模型相同，适用于已创建数据模型的场景。当选择*（任意结构）时，代表数据结构为任意结构，适用于未创建数据模型的场景。说明 模型名称支持复制，将鼠标移动至已选择模型时，单击 图标，...
输入节点
当选择数据表时，需保证模型与下游节点的输入数据模型相同，适用于已创建数据模型的场景。当选择*（任意结构）时，代表数据结构为任意结构，适用于未创建数据模型的场景。说明 模型名称支持复制，将鼠标移动至已选择模型时，单击 图标，...
新建Spark Batch类型的公共节点
输入数据格式 输入表的数据格式，由数据模型定义，在下拉列表中选择输入数据的逻辑表名称，表示该计算资源中提供数据的数据表的结构。当选择数据表时，需保证输入的模型与上游节点的输出数据模型相同。当选择星号（*）时，代表数据结构为...
添加适配数据源
在使用数据集前需要先添加支持的数据源内容，本文介绍...在 创建数据集 弹窗中，输入 数据集名称，选择 数据源导入 创建方式，数据源 选择 兼容MySQL数据库，详细步骤，请参见 添加兼容MySQL数据库的数据源。确认无误后，单击 导入数据表。
登录数据库
实例的管控模式为自由操作或稳定变更。更多信息，请参见 管控模式。操作步骤 在DMS实例列表登录数据库 使用该方式登录数据库前，需要确保您的数据库实例已录入DMS。更多信息，请参见 云数据库录入。登录 数据管理DMS 5.0。...
添加HDFS数据源
添加HDFS数据源用于实现 云原生多模数据库 Lindorm 宽表引擎能够读取HDFS的数据，如果...名称：输入数据源的名称。数据源类型：固定选择 HDFS2.7。数据源参数：输入HDFS的namenode域名和端口，格式为 hdfs:/xnn1:port,xnn2:port。单击 添加。
UTL_ENCODE
UTL_ENCODE子程序总览 子程序 描述 BASE64_DECODE Function 读取BASE64编码的RAW类型输入数据，并将其解码为原始的RAW类型数据。BASE64_ENCODE Function 读取RAW类型的输入数据，将其编码为BASE64符号序列并返回对应的RAW类型数据。...
新建Flink Vvr Stream类型的公共节点
如果节点文件和脚本中有要求输入，则打开 节点输入 后面的 开关，单击 添加节点输入，添加节点输入，自定义填写输入标识并选择输入数据结构。如果节点脚本中有要求输出变量，则打开 节点输出 后面的 开关，单击 添加节点输出，添加节点输出...
新建Flink Vvr Stream类型的公共节点
如果节点文件和脚本中有要求输入，则打开 节点输入 后面的 开关，单击 添加节点输入，添加节点输入，自定义填写输入标识并选择输入数据结构。如果节点脚本中有要求输出变量，则打开 节点输出 后面的 开关，单击 添加节点输出，添加节点输出...
新建Flink SQL类型的公共节点
输入数据格式 输入表的数据格式，由数据模型定义，在下拉列表中选择输入数据的逻辑表名称，表示该计算资源中提供数据的数据表的结构。当选择数据表时，需保证输入的模型与上游节点的输出数据模型相同。当选择星号（*）时，代表数据结构为...
新建Flink DataStream类型的公共节点
如果节点文件和脚本中有要求输入，则打开 节点输入 后面的 开关，单击 添加节点输入，添加节点输入，自定义填写输入标识并选择输入数据结构。如果节点脚本中有要求输出变量，则打开 节点输出 后面的 开关，单击 添加节点输出，添加节点输出...
新建Flink DataStream类型的公共节点
如果节点文件和脚本中有要求输入，则打开 节点输入 后面的 开关，单击 添加节点输入，添加节点输入，自定义填写输入标识并选择输入数据结构。如果节点脚本中有要求输出变量，则打开 节点输出 后面的 开关，单击 添加节点输出，添加节点输出...
新建Hologres类型公共节点
输入数据结构 输入表的数据格式，由数据模型定义，在下拉列表中选择输入数据的逻辑表名称，表示该计算资源中提供数据的数据表的结构。当选择数据表时，需保证输入的模型与上游节点的输出数据模型相同。当选择星号（*）时，代表数据结构为...
新建Flink Vvp SQL类型的公共节点
输入数据格式 输入表的数据格式，由数据模型定义，在下拉列表中选择输入数据的逻辑表名称，表示该计算资源中提供数据的数据表的结构。当选择数据表时，需保证输入的模型与上游节点的输出数据模型相同。当选择星号（*）时，代表数据结构为...
新建Spark Stream类型的公共节点
如果节点文件和脚本中有要求输入，则打开 节点输入 后面的 开关，单击 添加节点输入，添加节点输入，自定义填写输入标识并选择输入数据结构。如果节点脚本中有要求输出变量，则打开 节点输出 后面的 开关，单击 添加节点输出，添加节点输出...
新建Spark Stream类型的公共节点
如果节点文件和脚本中有要求输入，则打开 节点输入 后面的 开关，单击 添加节点输入，添加节点输入，自定义填写输入标识并选择输入数据结构。如果节点脚本中有要求输出变量，则打开 节点输出 后面的 开关，单击 添加节点输出，添加节点输出...
新建Flink Vvp Stream类型的公共节点
如果节点文件和脚本中有要求输入，则打开 节点输入 后面的 开关，单击 添加节点输入，添加节点输入，自定义填写输入标识并选择输入数据结构。如果节点脚本中有要求输出变量，则打开 节点输出 后面的 开关，单击 添加节点输出，添加节点输出...
新建Flink Vvp Stream类型的公共节点
如果节点文件和脚本中有要求输入，则打开 节点输入 后面的 开关，单击 添加节点输入，添加节点输入，自定义填写输入标识并选择输入数据结构。如果节点脚本中有要求输出变量，则打开 节点输出 后面的 开关，单击 添加节点输出，添加节点输出...
新建Blink类型的公共节点
输入数据结构 输入表的数据格式，由数据模型定义，在下拉列表中选择输入数据的逻辑表名称，表示该计算资源中提供数据的数据表的结构。当选择数据表时，需保证输入的模型与上游节点的输出数据模型相同。当选择星号（*）时，代表数据结构为...
新建Spark SQL类型公共节点并运行
如果节点文件和脚本中有要求输入，则打开 节点输入 后面的 开关，单击 添加节点输入，添加节点输入，自定义填写输入标识并选择输入数据结构。如果节点脚本中有要求输出变量，则打开 节点输出 后面的 开关，单击 添加节点输出，添加节点输出...
读数据表
用途 读数据表 算子用于从数据源中读取数据，作为下游节点输入数据的来源。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 使用说明 选择计算资源 选择需要读取的数据源，支持的数据源类型...
新建Flink Vvr SQL类型的公共节点
输入数据格式 输入表的数据格式，由数据模型定义，在下拉列表中选择输入数据的逻辑表名称，表示该计算资源中提供数据的数据表的结构。当选择数据表时，需保证输入的模型与上游节点的输出数据模型相同。当选择星号（*）时，代表数据结构为...
新建Spark Batch类型的公共节点
如果节点文件和脚本中有要求输入，则打开 节点输入 后面的 开关，单击 添加节点输入，添加节点输入，自定义填写输入标识并选择输入数据结构。如果节点脚本中有要求输出变量，则打开 节点输出 后面的 开关，单击 添加节点输出，添加节点输出...
新建Flink Vvr SQL类型的公共节点
输入数据格式 输入表的数据格式，由数据模型定义，在下拉列表中选择输入数据的逻辑表名称，表示该计算资源中提供数据的数据表的结构。当选择数据表时，需保证输入的模型与上游节点的输出数据模型相同。当选择星号（*）时，代表数据结构为...
新建Blink类型的公共节点
输入数据结构 输入表的数据格式，由数据模型定义，在下拉列表中选择输入数据的逻辑表名称，表示该计算资源中提供数据的数据表的结构。当选择数据表时，需保证输入的模型与上游节点的输出数据模型相同。当选择星号（*）时，代表数据结构为...
调试实时任务
上传数据方式包括手动 上传样例数据文件、手动输入数据、自动抽样数据。手动上传样例数据文件 您可以通过上传数据的方式，手动上传本地数据。上传本地数据前需要先下载样例，样例由Dataphin自动识别读写的表和表的schema信息生成的csv格式...
新建Hive类型的公共节点
输入数据结构 输入表的数据格式，由数据模型定义，在下拉列表中选择输入数据的逻辑表名称，表示该计算资源中提供数据的数据表的结构。当选择数据表时，需保证输入的模型与上游节点的输出数据模型相同。当选择星号（*）时，代表数据结构为...
公开与隐藏数据表资产
关键字：在 关键字 输入框，输入数据表名称或数据表描述的关键字，单击 查询，展示符合该条件的资产。所属工作组：指创建资产时的对应工作组。单击 所属工作组 下拉列表选择对应工作组，单击 查询，展示符合该条件的资产。模型类目：指创建...
公开与隐藏数据表资产
关键字：在 关键字 输入框，输入数据表名称或数据表描述的关键字，单击 查询，展示符合该条件的资产。所属工作组：指创建资产时的对应工作组。单击 所属工作组 下拉列表选择对应工作组，单击 查询，展示符合该条件的资产。模型类目：指创建...
步骤三：配置节点运行配置
输入数据结构 输入表的数据格式，由数据模型定义，在下拉列表中选择，表示该计算资源中提供数据的数据表的结构。当选择数据表时，需保证输入的模型与上游节点的输出数据模型相同，物理表名可以自定义。当选择星号（*）时，代表数据结构为...
新建Hive类型的公共节点
输入数据结构 输入表的数据格式，由数据模型定义，在下拉列表中选择输入数据的逻辑表名称，表示该计算资源中提供数据的数据表的结构。当选择数据表时，需保证输入的模型与上游节点的输出数据模型相同。当选择星号（*）时，代表数据结构为...
步骤三：配置节点运行配置
输入数据结构 输入表的数据格式，由数据模型定义，在下拉列表中选择，表示该计算资源中提供数据的数据表的结构。当选择数据表时，需保证输入的模型与上游节点的输出数据模型相同，物理表名可以自定义。当选择星号（*）时，代表数据结构为...
新建Elastic Job类型的公共节点
配置 节点输入：如果节点文件和脚本中有要求输入，则打开 节点输入 后面的 开关，单击 添加节点输入，添加节点输入，自定义填写输入标识并选择输入数据结构。配置 节点输出：如果节点脚本中有要求输出变量，则打开 节点输出 后面的 开关，...
- 产品推荐
- 这些文档可能帮助您