通过控制台使用宽表模型
输入表主键名称并选择数据类型，单击 添加表主键，可加入新的主键。单表最多可设置4个主键，第一个主键默认为分区键。主键的配置及顺序设置后不能修改。重要 表格存储 支持将主键列设置为自增列，每张表只能设置一个主键列为自增列，且分区...
普通集成
在弹出的 创建工作流 对话框，选择 从空白创建，在 创建工作流 对话框，选择要创建工作流的模式，输入工作流名称和描述，勾选 立即使用 CloudFlow Studio 编辑工作流，然后单击 完成创建。在Workflow Studio可视化界面的参数配置区配置工作...
K近邻
K近邻算法进行分类的原理是针对预测表的每行数据，从训练表中选择与其距离最近的K条记录，将这K条记录中类别数量最多的类，作为该行的类别。组件配置 您可以使用以下任意一种方式，配置K近邻组件参数。方式一：可视化方式 在 Designer 工作...
智能生产
参数 说明 工作流名称 在文本框中输入工作流名称。配置方案 在下拉列表中选择 自定义。设置 输入 节点。单击 输入 节点右侧的笔形图标，进入 输入设置 页面。设置输入参数。参数 说明 输入Bucket 选择输入路径后自动显示。输入路径 单击 ...
智能审核
参数 说明 工作流名称 在文本框中输入工作流名称。配置方案 在下拉列表中选择 自定义。设置 输入 节点。点击 输入 节点右侧的笔形图标，进入 输入设置 页面。设置输入参数。参数 说明 输入路径 单击 选择，在 Bucket 下拉列表中，选择...
虚拟机自定义规范创建
选项 操作 Workgroup 输入工作组名称。例如 MSHOME Windows服务器域 输入域名。要将计算机添加到指定的域，请输入有权执行此操作的用户帐户的用户名和密码。在 即将完成 页面上，检查详细信息并单击“FINISH”以保存所做更改。结果 所创建...
视频DNA
参数 说明 工作流名称 在文本框中输入工作流名称。配置方案 在下拉列表中选择 自定义。设置 输入 节点。点击 输入 节点右侧的笔形图标，进入 输入设置 页面。设置输入参数。参数 说明 输入路径 单击 选择，在 Bucket 下拉列表中，选择...
登录卡片式云电脑终端ASC01
在登录页面输入工作区ID（即 办公网络ID），然后单击 下一步。在 用户名 和 密码 文本框中输入您的用户名和密码，并单击 下一步。说明 初次登录时，请输入登录凭证中的初始密码，并按照提示设置您的自定义密码，以后登录时均使用该自定义...
概述
您可以创建SQL类型的流数据分析任务，并在边缘端执行该任务。边缘端SQL语法与云端Flink SQL语法完全一致，语法说明请...RDS：会把关系型数据库（MySQL）的数据当成维表输入。icmsDocProps={'productMethod':'created','language':'zh-CN',};
分区表输入示例
本文为您介绍MapReduce的分区表输入示例。示例一：public static void main(String[]args)throws Exception { JobConf job=new JobConf();LinkedHashMap,String>input=new LinkedHashMap,String>();input.put("pt","123456");InputUtils....
通过SQL模式创建API（Dataphin表）
在集成中配置同步任务，输入组件选择 逻辑表输入配置（LogicalTable），输出组件选择 MySQL输出组件，具体操作请参见 配置LogicalTable输入组件、配置MySQL输出组件。配置完同步任务后，且成功发布后，可在数据服务创建逻辑表API并进行提交...
工作原理
工作原理 日志服务通过消费组或SQL方式抽取或聚合出监控指标，按照调度规则定时拉取数据输入模型，将巡检出来的结果按照事件标准写入目标日志库（internal-ml-log）中，并对异常发送告警通知。具体工作原理如下图所示。功能特性 日志服务的...
GBDT二分类
GBDT（Gradient Boosting Decision Tree）二分类算法的原理是设置阈值，如果特征值大于阈值，则为正例，反之为负例。组件配置 您可以使用以下任意一种方式，配置GBDT二分类组件参数。方式一：可视化方式 在 Designer 工作流页面配置组件...
关键词抽取
自动计算 示例 数据生成 输入表需采用空格分词，并过滤掉停用词（如“的”、“地”、“得”、“了”、“个”）和所有标点符号。docid:string word:string doc0 翼身融合 飞机 是 未来 航空 领域 发展 一个 新 方向 诸多 研究 机构 已经 ...
标签传播分类
配置组件 方法一：可视化方式 在Designer工作流页面添加 标签传播分类 组件，并在界面右侧配置相关参数：参数类型 参数 描述 字段设置 顶点表：选择顶点列 点表的点所在列。顶点表：选择标签列 点表的点的标签所在列。顶点表：选择权值列 ...
SPL概述
本文介绍 日志服务 SPL语言的基本信息，包括工作原理、语法、指令表达式等。工作原理 日志服务SPL支持在实时消费、扫描查询和Logtail采集三个日志服务场景中使用，工作原理如下图：关于SPL在各个场景中的功能定义，请参见 SPL在不同场景的...
添加和管理自定义路由类型监听
自定义路由类型监听的工作原理及使用示例，请参见 自定义路由类型监听的工作原理。关于路由类型间的功能区别及端口范围限制，请参见 监听概述。前提条件 您已经申请了自定义路由类型监听使用权限。自定义路由类型监听功能邀测中，如需使用...
评分卡训练
否 无 featureColNames 输入表选择的特征列。否 选择全部，自动排除Label列。labelColName 目标列。是 无 outputTableName 输出模型表。是 无 inputConstraintTableName 输入的JSON格式约束条件，存储在表的一个单元中。否 无 optimization...
配置同周期调度依赖
配置原理 调度依赖配置是将上游节点的输出作为下游节点的输入，形成节点依赖，建议您根据节点查询及写入的表血缘设置节点的调度依赖关系。配置完成后，上游节点运行完成且运行成功，下游节点才会启动运行，保障调度任务在运行时能取到正确...
数据转发到云数据库RDS
工作原理 云产品流转将设备的Topic消息转发到RDS下数据库的数据表中存储，使用RDS的数据库服务。详细内容，请参见 云数据库RDS简介。在上图中：数据源：支持的Topic类型消息，请参见 数据格式。SQL表达式：编写SQL表达式来解析和处理设备...
数据转发到表格存储（Tablestore）宽表模型
工作原理 云产品流转将设备的Topic消息转发到表格存储实例中的数据表中存储，使用表格存储的宽表引擎服务。在上图中：数据源：支持的Topic类型消息，请参见 数据格式（非云网关产品和设备）、自定义Topic（MQTT云网关）、消息转发Topic（GB...
设置调度依赖最佳实践
自动解析的实现原理：代码中只能拿到表名，自动解析功能可以根据表名解析出对应的产出任务。类型节点代码如下所示。INSERT OVERWRITE TABLE pm_table_a SELECT*FROM project_b_name.pm_table_b;解析出来的依赖关系如下。DataWorks会自动...
加工数据
在 新建表 对话框中，输入表名，单击 新建。此处需要创建三张表，表名分别为dwd_log_info_di、dws_user_info_all_di、ads_user_info_1d。选择 DDL 方式建表，三张表建表命令请参考下文。提交至引擎生效。表结构定义完成后，分别单击 提交到...
加工数据
在 新建表 对话框中，输入表名，单击 新建。此处需要创建三张表，表名分别为dwd_log_info_di、dws_user_info_all_di、ads_user_info_1d。选择 DDL 方式建表，三张表建表命令请参考下文。提交至引擎生效。表结构定义完成后，分别单击 提交到...
数据转发到云数据库RDS
工作原理 云产品流转将设备的Topic消息转发到RDS下数据库的数据表中存储，使用RDS的数据库服务。详细内容，请参见 云数据库RDS。在上图中：数据源：支持的Topic类型消息，请参见 数据格式（非云网关产品和设备）、自定义Topic（MQTT云网关...
ngram-count
inputTablePartitions 否 选择全表 输入表指定分区。countTableName 否 无 ngram-count以往的输出表，最终结果将合并这张表。countWordColName 否 选择第二列 count表中词所在的列名。countCountColName 否 选择第三列 count表中count所在...
Bucket Shuffle Join
工作原理 SelectDB支持的常规分布式Join方式包括Shuffle Join和Broadcast Join。这两种Join都会导致相当大的网络开销。例如，当前存在A表与B表的Join查询，它的Join方式为Hash Join，不同Join类型的开销如下：Broadcast Join：如果根据数据...
创建Hologres外部表
Hologres可通过DDL方式创建Hologres外部表，也可使用DataWorks提供的可视化方式创建。本文为您介绍如何使用DataWorks可视化方式创建Hologres外部表。前提条件 工作空间已绑定Hologres引擎。详情请参见 绑定Hologres计算引擎。创建表的用户...
一键MaxCompute表结构同步节点
DataWorks支持一键导入表结构功能，帮助您使用DataStudio快速批量创建与目标MaxCompute表结构相同的Hologres外部表，后续您可使用Hologres外部表加速查询MaxCompute表的数据。本文为您介绍如何创建并使用一键MaxCompute表结构同步节点。...
依赖关系
调度依赖配置常见问题 提交节点报错：当前节点依赖的父节点输出名不存在 提交节点时提示：输入输出和代码血缘分析不匹配 为什么自动解析的父节点名会报依赖的父节点输出（表）不存在？为什么有些节点的本节点的输出中，下游节点名称、下游...
一键MaxCompute数据同步节点
背景信息 使用一键同步MaxCompute数据至Hologres进行数据查询时，您需要先在Hologres中创建外部表，该外部表可视为MaxCompute源表（即需要同步的MaxCompute数据所在的表）与Hologres内部表的链接，通过该连接将MaxCompute源表数据同步至...
HTAP中的行列混存查询优化
查询优化的作用及基本原理 在数据库处理查询语句的过程中，优化器接收用户输入的查询语句并进行一系列的等价变换后，通过查询中的基数与代价估计，从等价的执行计划中选取最优计划执行。由于在执行查询时使用的执行计划好坏对性能的影响...
MapReduce
说明 由于MaxCompute的所有数据都被存放在表中，因此MaxCompute MapReduce的输入、输出只能是表，不允许您自定义输出格式，不提供类似文件系统的接口。使用限制 MapReduce使用限制请参见 使用限制汇总。有关本地运行的MapReduce使用限制，...
数据集成
数据集成通过配置输入输出，可实现单表数据同步至目标单表，以及整库数据同步，详情请参见 实时同步支持的数据源、实时同步能力说明。同步任务调度配置 节点依赖关系 离线同步任务 离线同步任务的上游任务：由于同步任务可依赖平台侧血缘，...
JOIN优化和执行
比较当前左右表输入的行，并按以下方式操作，不断消费左右两边的输入：如果左表的JOIN Key较小，则消费左表的下一条数据。如果右表的JOIN Key较小，则消费右表的下一条数据。如果左右表JOIN Key相等，说明获得了1条或多条匹配，检查是否...
一键表结构导入
本文为您介绍如何使用DataStudio一键表结构同步功能批量创建Hologres外部表。前提条件 已开通DataWorks服务并创建DataWorks工作空间，详情请参见 创建工作空间。开通Hologres并绑定至DataWorks工作空间，详情请参见 绑定Hologres实例。背景...
执行角色
授权的基本原理如下：策略 表示访问某个服务的能力，为 角色 绑定指定策略，那么角色就具有了访问该服务的能力。当有第三方需要访问这个服务的时候，只需要扮演具有访问能力的角色即可。从而避免使用长期密钥，让系统变得更加安全。创建...
执行角色
授权的基本原理如下：策略 表示访问某个服务的能力，为 角色 绑定指定策略，那么角色就具有了访问该服务的能力。当有第三方需要访问这个服务的时候，只需要扮演具有访问能力的角色即可。从而避免使用长期密钥，让系统变得更加安全。创建...
实时同步数据库的数据至Hologres
MySQL Binlog DataHub LogHub Kafka PolarDB SQL Server 配置数据源（输入为PolarDB）配置数据源（输入为MySQL）配置单表增量数据实时同步 整库实时同步 适用于将源端全部表的数据变化实时同步至目标数据库中，实现目标库实时保持和源库的...
读数据表
分区 如果输入表为分区表，您可以选中 分区 复选框，并配置 参数，按分区来查询数据。说明 如果该组件下游接入SQL脚本组件，则该分区过滤条件不生效，您需要在 SQL脚本 组件中配置过滤条件。参数 分区参数，通过该参数来过滤分区表数据。...
- 产品推荐
- 这些文档可能帮助您