数据开发常见问题
如何在数据开发页面批量修改业务流程下节点使用的调度资源组？API调用 Openapi调用报错access is forbidden.Please first activate DataWorks Enterprise Edition or Flagship Edition.如何获取Python SDK调用案例？运行及运行日志 运行，...
使用版本和别名实现灰度发布
在 函数管理 页面，单击目标函数名称，然后在函数详情页面，单击 函数代码 页签。在代码编辑器中，修改代码为查看函数版本的代码，单击 部署代码，然后单击 测试函数。查看函数版本的代码示例如下。Node.js module.exports.handler=...
IoT Studio使用LA自定义接口全链路开发
本文介绍如何基于物联网数据分析创建自定义数据指标，并输出到IoT Studio的报表组件中。前提条件 已购买数据型实例。具体操作，请参见 购买物联网实例。已创建产品和设备。具体操作，请参见 创建产品和设备。已定义物模型。具体操作，请...
页面
本文介绍使用文字文档时如何导出文件为PDF或图片、获取总页数、切换分页和连页模式、控制目录显示、获取页面宽度等。导出文件 导出当前文件为对应的PDF或者图片，并获取导出后的URL。语法 表达式.ActiveDocument.ExportAsFixedFormat({ ...
配置do-while节点
您也可根据业务背景自定义do-while节点内部业务流程，将中间的Shell节点替换为其他节点。双击Shell节点，进入节点的编辑页面。输入以下代码。echo${dag.loopTimes}-打印循环的次数。{dag.loopTimes} 变量是系统的保留变量，代表当前的循环...
运行选项
基因分析平台在运行任务完成后，除应用定义的流程输出文件外，会删除所有中间结果文件，只保留基础的脚本和日志文件，以节省用户的存储空间。警告 选择删除中间结果后，该运行任务无法被中断恢复，其包含的计算作业也无法被Call-Caching...
配置本地文件输入组件
示例代码如下：{"textReaderConfig":{"caseSensitive":true,"useTextQualifier":false,"textQualifier":"\"","trimWhitespace":false } } 新建输出字段 新建输出字段：单击 新建输出字段。根据页面提示，配置 来源序号 和 字段，选择字段...
配置本地文件输入组件
示例代码如下：{"textReaderConfig":{"caseSensitive":true,"useTextQualifier":false,"textQualifier":"\"","trimWhitespace":false } } 新建输出字段 新建输出字段：单击 新建输出字段。根据页面提示，配置 来源序号 和 字段，选择字段...
管理HBase输入组件
输出字段 根据左侧页面的输入配置，为您展示输出的字段，您也可以通过以下两种方式添加字段：单击右侧的 新建输出字段，根据页面提示填写 列簇、字段 及选择字段的 类型。单击右侧的 批量添加，请以JSON格式批量配置，完成配置后单击 确认...
配置目标库信息
在页面左侧，将 输出 MySQL 节点拖拽至页面右侧画布的空白区域。将鼠标指针移动至已完成配置的目标转换组件，单击圆点拉出连接线，连接目标转换组件和 输出 MySQL-1。单击画布区域的 输出 MySQL-1 页面，根据页面信息配置目标库信息。设置...
配置MongoDB输出组件
本文为您介绍如何配置MongoDB输出组件。操作步骤 请参见 离线管道组件开发入口，进入离线单条管道脚本的开发页面。按照下图指引，进入 MongoDB输出配置 对话框。在 MongoDB输出配置 对话框，配置参数。参数 说明 步骤名称 根据当前组件的...
配置MongoDB输出组件
在离线单条管道脚本的开发页面，按照下图操作，进入 MongoDB输出配置 对话框。在 MongoDB输出配置 对话框，配置参数。参数 说明 步骤名称 根据当前组件的使用场景，填写组件名称。数据源 选择数据源。选择Dataphin系统已配置的数据源，且...
配置HBase输出组件
HBase输出组件用于向HBase数据源写入数据。同步其他数据源的数据至HBase数据源的场景中，完成源数据的信息配置后，需要配置HBase输出组件的目标数据源。本文为您介绍如何配置HBase输出组件。操作步骤 请参见 离线管道组件开发入口，进入离...
配置ElasticSearch输出组件
在离线单条管道脚本的开发页面，按照下图操作指引，进入 ElasticSearch输出配置 对话框。在 ElasticSearch输出配置 对话框，配置参数。参数 说明 步骤名称 根据当前组件的使用场景，填写组件名称。数据源 选择数据源。选择Dataphin系统已...
配置ElasticSearch输出组件
本文为您介绍如何配置ElasticSearch输出组件。操作步骤 请参见 离线管道组件开发入口 进入离线单条管道脚本的开发页面。按照下图操作指引，进入 ElasticSearch输入配置 对话框。在 ElasticSearch输出配置 对话框，配置参数。参数 说明 步骤...
配置MongoDB输入组件
[{"name":"cf1:a","type":"String"},{"name":"cf1:b","type":"String"}]单击 新建输出字段，根据页面提示填写 字段 及选择字段的 类型。同时您也可以对已添加的字段执行如下操作：单击 操作 列下的 图标，编辑已有的字段。单击>操作 列下的...
创建数据流
单击 数据输出 节点，在页面下方的 数据输出 页签中配置数据输出节点。数据库：配置项 描述 数据库类型 选择输出数据的目标数据库类型。数据库 搜索并选择输出数据的目标数据库。说明 如果数据库未登录，在 登录实例 对话框中，输入 数据库...
配置MongoDB输入组件
[{"name":"cf1:a","type":"String"},{"name":"cf1:b","type":"String"}]单击 新建输出字段，根据页面提示填写 字段 及选择字段的 类型。同时您也可以对已添加的字段执行如下操作：单击 操作 列下的 图标，编辑已有的字段。单击>操作 列下的...
配置API输出组件
配置API输出组件，可以将外部数据库中读取的数据写入到API，或从大数据平台对接的存储系统中将数据复制推送至API，进行数据整合和再加工。本文为您介绍如何配置API输出组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建API...
配置API输出组件
配置API输出组件，可以将外部数据库中读取的数据写入到API，或从大数据平台对接的存储系统中将数据复制推送至API，进行数据整合和再加工。本文为您介绍如何配置API输出组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建API...
配置OSS输出组件
配置OSS输出组件，可以将外部数据库中读取的数据写入到OSS，或从大数据平台对接的存储系统中将数据复制推送至OSS，进行数据整合和再加工。本文为您介绍如何配置OSS输出组件。前提条件 已创建OSS数据源。具体操作，请参见 创建OSS数据源。...
配置OSS输出组件
配置OSS输出组件，可以将外部数据库中读取的数据写入到OSS，或从大数据平台对接的存储系统中将数据复制推送至OSS，进行数据整合和再加工。本文为您介绍如何配置OSS输出组件。前提条件 已创建OSS数据源。具体操作，请参见 创建OSS数据源。...
设计器结构说明
中间设计区 选择好模板后可对中间设计区进行设计，设计区分为页头页尾和页面内容两部分。说明 页面内容的页头页尾可设置为空，多个页面内容可选择相同的页头页尾统一设计。可制作多个页头页尾。网站切换到手机端，可在左侧设置网站在不同...
配置Amazon S3输出组件
配置Amazon S3输出组件，可以将外部数据库中读取的数据写入到Amazon S3，或从大数据平台对接的存储系统中将数据复制推送至Amazon S3，进行数据整合和再加工。本文为您介绍如何配置Amazon S3输出组件。前提条件 已创建Amazon S3数据源。具体...
配置Amazon S3输出组件
配置Amazon S3输出组件，可以将外部数据库中读取的数据写入到Amazon S3，或从大数据平台对接的存储系统中将数据复制推送至Amazon S3，进行数据整合和再加工。本文为您介绍如何配置Amazon S3输出组件。前提条件 已创建Amazon S3数据源。具体...
获取页面标题
组件，在Chrome浏览器中选中百度页面 利用 获取页面标题 组件，获取当前页面的标题内容 执行结果 如下图所示，该流程成功在Chrome浏览器中选中百度页面，并获取百度页面的标题内容，可以在日志面板中查看“获取页面标题”组件输出的变量 ...
配置流程
在页面左侧，将 输出 MySQL-1 节点拖拽至页面右侧画布的空白区域。将鼠标指针移动至 字段转换器-1 上，并单击圆点拉出连接线，连接 字段转换器-1 和目标库 输出 MySQL-1。在 输出 MySQL-1 页面，依次配置节点信息和字段映射信息。配置方法...
配置FTP输入组件
[{"name":"cf1:a","type":"String"},{"name":"cf1:b","type":"String"}]单击 新建输出字段，根据页面提示填写 来源序号、字段 及选择 类型。同时您也可以对已添加的字段执行如下操作：单击 操作 列下的 图标，编辑已有的字段。单击 操作 列...
配置FTP输入组件
[{"name":"cf1:a","type":"String"},{"name":"cf1:b","type":"String"}]单击 新建输出字段，根据页面提示填写 来源序号、字段 及选择 类型。同时您也可以对已添加的字段执行如下操作：单击 操作 列下的 图标，编辑已有的字段。单击 操作 列...
配置ECS远程命令节点
例如，A实例返回{"a":"hello"}，B实例返回{"b":"world"}，那么变量a、变量b都可作为脚本输出变量。在页面上方，单击 试运行。如果执行日志的最后一行出现 status SUCCEEDED，表明任务试运行成功。如果执行日志的最后一行出现 status FAILED...
配置FTP输出组件
FTP输出组件用于向FTP数据源写入数据。同步其他数据源的数据至FTP数据源的场景中，完成源数据源的信息配置后，需要配置FTP输出组件的目标数据源。本文为您介绍如何配置FTP输出组件。前提条件 已创建FTP数据源，详情请参见 创建FTP数据源。...
配置FTP输出组件
FTP输出组件用于向FTP数据源写入数据。同步其他数据源的数据至FTP数据源的场景中，完成源数据源的信息配置后，需要配置FTP输出组件的目标数据源。本文为您介绍如何配置FTP输出组件。前提条件 已创建FTP数据源，详情请参见 创建FTP数据源。...
配置API输入组件
单击 新建输出字段，根据页面提示填写 来源序号、字段 及选择 类型。同时您也可以对已添加的字段执行如下操作：单击拖动字段旁的 图标，可调换字段所处位置。单击 操作 列下的 图标，编辑已有的字段。单击 操作 列下的 图标，删除已有的...
配置Kafka输出组件
配置Kafka输出组件，可以将外部数据库中读取数据写入到Kafka，或从大数据平台对接的存储系统中将数据复制推送至Kafka，进行数据整合和再加工。本文为您介绍如何配置Kafka输出组件。操作步骤 请参见 离线管道组件开发入口，进入离线单条管道...
配置Kafka输出组件
配置Kafka输出组件，可以将外部数据库中读取数据写入到Kafka，或从大数据平台对接的存储系统中将数据复制推送至Kafka，进行数据整合和再加工。本文为您介绍如何配置Kafka输出组件。操作步骤 请参见 离线管道组件开发入口，进入离线单条管道...
配置API输入组件
单击 新建输出字段，根据页面提示填写 来源序号、字段 及选择 类型。同时您也可以对已添加的字段执行如下操作：单击拖动字段旁的 图标，可调换字段所处位置。单击 操作 列下的 图标，编辑已有的字段。单击 操作 列下的 图标，删除已有的...
使用ETL分析实时订单
步骤四：配置目标库信息 在页面左侧，将 输出 MySQL 节点拖拽至页面右侧画布的空白区域。将鼠标指针移动至已完成配置的 表记录过滤-1 上，单击圆点拉出连接线，连接 表记录过滤-1 和 输出 MySQL-1。单击画布区域的 输出 MySQL-1 页面，根据...
配置DataHub输出
在实时同步节点的编辑页面，鼠标单击 输出>DataHub 并拖拽至编辑面板，连线已配置好的输入或转换节点。单击 DataHub 节点，填写 节点配置 对话框中的参数。参数 描述 数据源 选择已经配置好的DataHub数据源，此处仅支持DataHub数据源。如果...
新建微应用
当微应用运行后，在微应用运行页面可以直接查看输出节点的结果数据。配置完成后，单击 下一步。API配置：微应用支持开启通过OpenAPI方式对已上线的微应用进行调用。如果需要开启OpenAPI调用，在API配置中勾选微应用发布成API，然后给每个微...
配置Kafka输出
Kafka输出节点只需要选择表，进行字段映射即可完成配置。前提条件 配置Kafka输出节点前，您需要先配置好相应的输入或转换数据源，实时同步支持的数据源。背景信息 写入数据不支持去重，即如果任务重置位点或者Failover后再启动，会导致有...
- 产品推荐
- 这些文档可能帮助您