配置Oracle输出组件
目标表新建成功后，Dataphin自动将新建的目标表作为输出数据的目标表。注意：如果您对CREATE TABLE之后的表名不做更改，系统默认生成大写表名。如果您对CREATE TABLE之后的表名加上了双引号，则生成大小写敏感的表名。一键生成目标表用于为...
配置Oracle输出组件
目标表新建成功后，Dataphin自动将新建的目标表作为输出数据的目标表。注意：如果您对CREATE TABLE之后的表名不做更改，系统默认生成大写表名。如果您对CREATE TABLE之后的表名加上了双引号，则生成大小写敏感的表名。一键生成目标表用于为...
配置MaxCompute输出组件
目标表新建成功后，Dataphin自动将新建的目标表作为输出数据的目标表。一键生成目标表用于为开发环境、生产环境创建数据同步的目标表。Dataphin默认为您选中 生产环境建表，如果生产环境已经有同名且结构相同的数据表，则您无需勾选 生产...
配置MaxCompute输出组件
目标表新建成功后，Dataphin自动将新建的目标表作为输出数据的目标表。一键生成目标表用于为开发环境、生产环境创建数据同步的目标表。Dataphin默认为您选中 生产环境建表，如果生产环境已经有同名且结构相同的数据表，则您无需勾选 生产...
配置AnalyticDB for PostgreSQL输出组件
目标表新建成功后，Dataphin自动将新建的目标表作为输出数据的目标表。一键生成目标表用于为开发环境、生产环境创建数据同步的目标表。Dataphin默认为您选中 生产环境建表，如果生产环境已经有同名且结构相同的数据表，则您无需勾选 生产...
配置AnalyticDB for PostgreSQL输出组件
目标表新建成功后，Dataphin自动将新建的目标表作为输出数据的目标表。一键生成目标表用于为开发环境、生产环境创建数据同步的目标表。Dataphin默认为您选中 生产环境建表，如果生产环境已经有同名且结构相同的数据表，则您无需勾选 生产...
配置TDH Inceptor输出组件
目标表新建成功后，Dataphin自动将新建的目标表作为输出数据的目标表。一键生成目标表用于为开发环境、生产环境创建数据同步的目标表。Dataphin默认为您选中 生产环境建表，如果生产环境已经有同名且结构相同的数据表，则您无需勾选 生产...
配置AnalyticDB for MySQL 3.0输出组件
目标表新建成功后，Dataphin自动将新建的目标表作为输出数据的目标表。一键生成目标表用于为开发环境、生产环境创建数据同步的目标表。Dataphin默认为您选中生产环境建表，如果生产环境已经有同名且结构相同的数据表，则您无需勾选生产环境...
配置AnalyticDB for MySQL 3.0输出组件
目标表新建成功后，Dataphin自动将新建的目标表作为输出数据的目标表。一键生成目标表用于为开发环境、生产环境创建数据同步的目标表。Dataphin默认为您选中生产环境建表，如果生产环境已经有同名且结构相同的数据表，则您无需勾选生产环境...
配置Hive输出组件
目标表新建成功后，Dataphin自动将新建的目标表作为输出数据的目标表。一键生成目标表用于为开发环境、生产环境创建数据同步的目标表。Dataphin默认为您选中 生产环境建表，如果生产环境已经有同名且结构相同的数据表，则您无需勾选 生产...
配置MySQL输出组件
目标表新建成功后，Dataphin自动将新建的目标表作为输出数据的目标表。一键生成目标表用于为开发环境、生产环境创建数据同步的目标表。Dataphin默认为您选中生产环境建表，如果生产环境已经有同名且结构相同的数据表，则您无需勾选生产环境...
配置MySQL输出组件
目标表新建成功后，Dataphin自动将新建的目标表作为输出数据的目标表。一键生成目标表用于为开发环境、生产环境创建数据同步的目标表。Dataphin默认为您选中生产环境建表，如果生产环境已经有同名且结构相同的数据表，则您无需勾选生产环境...
MapReduce
Map阶段：Map处理输入，每获取一个数字，将数字的Count设置为1，并将此,Count>对输出，此时以Word作为输出数据的Key。Shuffle>合并排序：在Shuffle阶段前期，首先对每个Map Worker的输出，按照Key值（即Word值）进行排序。排序后进行...
配置Greenplum输出组件
目标表新建成功后，Dataphin自动将新建的目标表作为输出数据的目标表。一键生成目标表用于为开发环境、生产环境创建数据同步的目标表。Dataphin默认为您选中生产环境建表，如果生产环境已经有同名且结构相同的数据表，则您无需勾选生产环境...
配置Greenplum输出组件
目标表新建成功后，Dataphin自动将新建的目标表作为输出数据的目标表。一键生成目标表用于为开发环境、生产环境创建数据同步的目标表。Dataphin默认为您选中生产环境建表，如果生产环境已经有同名且结构相同的数据表，则您无需勾选生产环境...
脚本和输出语法
因脚本输出数据是JSON格式的键值对，所以可以定义Map类型数据，存储键值对数据。var data={};获取payload中属性值，可以根据需要处理和计算数据后，将数据存入data。返回解析后的数据data。return data;输出文件 输出文件名称默认为 ...
03创建开发环境场景并运行
说明 在搭建节点流程的过程中，如果上游节点和下游节点需要连线（即上游节点的输出数据要作为下游节点的输入数据），则要求上游节点的输出数据与下游节点的输入数据的数据格式和云计算资源类型必须一致。单击场景画布上已添加的公共节点，...
新建开发环境场景并运行
说明 在搭建节点流程的过程中，如果上游节点和下游节点需要连线（即上游节点的输出数据要作为下游节点的输入数据），则要求上游节点的输出数据与下游节点的输入数据的数据格式和云计算资源类型必须一致，任意结构（星号（*））和为空的除外...
新建开发环境场景并运行
说明 在搭建节点流程的过程中，如果上游节点和下游节点需要连线（即上游节点的输出数据要作为下游节点的输入数据），则要求上游节点的输出数据与下游节点的输入数据的数据格式和云计算资源类型必须一致，任意结构（星号（*））和为空的除外...
JOIN优化和执行
子查询可以出现在SQL语句的很多地方，比如在SELECT子句中作为输出的数据，在FROM子句中作为输入的一个视图，在WHERE子句中作为过滤条件等。本文讨论的均为不下推的JOIN算子。如果JOIN被下推到LogicalView中，其执行方式由存储层MySQL自行...
数据备份与删除
独立部署版本：私有云独立部署，Dataphin输出PostgreSQL数据库作为元数据库。元数据库采用一主一备或一主两备模式，保障元数据库稳定性；每天进行元数据库全量冷备，保留七天，过期自动删除。公有云独立部署，Dataphin元数据库采用阿里云上...
文档更新动态（2022年之前）
新功能 网络连通解决方案 2021年08月24日 数据服务：支持数据服务模块的数据查询加速、支持的数据源类型和版本拓展 为了满足对数据查询速度有要求的业务场景，Dataphin支持为项目添加加速计算源，且完成Dataphin数据源开发后，您可以手动...
基本概念
每个任务使用0或0个以上的数据表（数据集）作为输入，生成一个或多个数据表（数据集）作为输出。任务主要分为节点任务（Node Task）、工作流任务（Flow Task）和内部节点（inner Node）。任务类型 描述 节点任务（Node Task）一个数据执行...
增量查询
Clustering和Compaction操作都会产生新的数据文件，但并没有增加新的逻辑数据行，只是把原有的记录进行了组织编排优化，因此新产生的数据文件中的记录不应该作为新增数据重复输出，为此，增量查询做了专门设计优化，会剔除掉这些记录，也...
手动调整Join顺序
临时结果集 tmp2 Join表 nation，输出114705行数据作为最终结果。3次Join累积输出结果行数为：57069+114705+114705=286479。调整后 查询语句 在SQL语句中添加/*+reorder_joins=false*/的Hint来关闭 AnalyticDB MySQL版 的自动调整Join顺序...
输出数据
将经过加工的数据执行落库操作，您可以选择输出数据至已有的目标数据库表中（每次写入会删除表中原数据，并插入新数据），也可以输出数据至新建的数据库表中，还可以输出数据至数据集中。前提条件 已完成数据加工的配置，请参见 数据加工。...
事务管理
并没有实际新增或者修改数据，因此不会产生新的时间版本，这样做的好处是用户使用时间版本进行增量查询时，Clustering和Compaction产生的数据文件不会作为新增数据被查询输出，满足用户实际的业务场景。ID版本：自增的整型，任何数据操作的...
数据接入概述
功能 支持说明 数据解析 作为一个数据解析任务的输出对象，以存储所需数据。冷数据存储 以表格的形式，展示云产品数据。分析洞察 作为一个SQL分析任务的输出对象，以存储所需数据。作为多个SQL分析任务的查询对象。IoT孪生引擎数据源 开启...
概述
重要 数据解析的输出数据格式中 payload 和 ts 是系统字段，分别表示数据解析处理的数据输出以及处理时间戳（UTC时间，单位为毫秒）。数据源为数据服务中自定义存储表的数据：无需配置脚本文件和输出文件，根据表字段 iotId 和 identifier ...
离线同步读取MongoDB数据
mock string value Document数据作为json序列化输出 MongoDB原始数据 字段映射配置 输出至MaxCompute的结果 {"col_doc":{"key_string":"mock string value","key_int32":1 } } {"name":"col_doc","type":"string"} 字段映射配置时，type 为...
创建自建数据库用户及授权
创建自建数据库用户 在创建 MySQL 数据源时，您可以直接选择已经存在于数据库的用户作为数据迁移的用户。建议您为数据迁移项目创建专属的数据库用户并赋予必要的权限。登录 MySQL 数据库。使用 CREATE USER 语句创建一个新用户。CREATE ...
输出切换
不限 输出端口-输出参数 参数名 参数描述 输出数据类型 out 输出变量 浮点型 其他参数 参数名 参数描述 是否必填 参数默认值 参数范围 ToA速率 每分钟从B切至A变化率 是 1.0[-99999999,99999999]ToB速率 每分钟从A切至B变化率 是 1.0[-...
配置SAP Table输入组件
No_data no_data不为空时，不向表输出数据，为空时，则传出数据。Rowskip 输出的第一条数据的行号（从0开始）。Rowcount 从rowskip开始，一共输出的数据行数（0代表所有数据）。过滤条件 表查询条件，可使用SAP query operator进行条件过滤...
配置SAP Table输入组件
No_data no_data不为空时，不向表输出数据，为空时，则传出数据。Rowskip 输出的第一条数据的行号（从0开始）。Rowcount 从rowskip开始，一共输出的数据行数（0代表所有数据）。过滤条件 表查询条件，可使用SAP query operator进行条件过滤...
教程概述
本文为您介绍当需要通过DataV展示海量数据的分析结果时，如何使用DataWorks的数据服务开发数据API，并快速在DataV中调用API，最终将来自MaxCompute的数据成果展示在DataV大屏中，数据开发到数据服务再到数据分析展现一气呵成。注意 本案例...
配置PostgreSQL输出组件
表 选择输出数据的目标表。解析方案 非必填项。选择数据输出前和输出完成的一些特殊处理方式。解析方案 包括 填写准备语句 和 填写完成语句：填写准备语句：导入前执行的SQL脚本。填写完成语句：导入后执行的SQL脚本。输入字段 根据上游的...
配置Microsoft SQL Server输出组件
表 选择输出数据的目标表。解析方案 非必填项。选择数据输出前和输出完成的一些特殊处理方式。解析方案 包括 填写准备语句 和 填写完成语句：填写准备语句：导入前执行的SQL脚本。填写完成语句：导入后执行的SQL脚本。输入字段 根据上游的...
配置Microsoft SQL Server输出组件
表 选择输出数据的目标表。解析方案 非必填项。选择数据输出前和输出完成的一些特殊处理方式。解析方案 包括 填写准备语句 和 填写完成语句：填写准备语句：导入前执行的SQL脚本。填写完成语句：导入后执行的SQL脚本。输入字段 根据上游的...
新建Elastic Job类型的公共节点
输出数据结构 输出表的数据格式，由数据模型定义，在下拉列表中选择，表示该计算资源中输出数据的数据表的结构。当选择数据表时，需保证节点输出的模型与下游节点的输入数据模型相同，物理表名可以自定义。当选择星号（*）时，代表数据结构...
配置PostgreSQL输出组件
表 选择输出数据的目标表。解析方案 非必填项。选择数据输出前和输出完成的一些特殊处理方式。解析方案 包括 填写准备语句 和 填写完成语句：填写准备语句：导入前执行的SQL脚本。填写完成语句：导入后执行的SQL脚本。输入字段 根据上游的...
- 产品推荐
- 这些文档可能帮助您