输入节点
运行配置 运行配置用于设置输入节点的云计算资源和源数据表，关键参数说明如下：参数 说明 云计算资源类型 节点的数据源类型，可选值包括 MaxCompute、AnalyticDB for RDS、AnalyticDB MySQL、Table Store、DataHub Service、Phoenix、...
输入节点
运行配置 运行配置用于设置输入节点的云计算资源和源数据表，关键参数说明如下：参数 说明 云计算资源类型 节点的数据源类型，可选值包括 MaxCompute、AnalyticDB for RDS、AnalyticDB MySQL、Table Store、DataHub Service、Phoenix、...
写数据表
本文介绍写数据表算子的使用方法。用途 写数据表 算子用于将模型上游节点处理之后的出具写入指定的数据表中。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 使用说明 离线链路 输入节点 ...
就绪检测节点
运行属性 运行属性 用于设置数据检测节点的云计算资源和所要检测的数据表，关键参数说明如下：参数 说明 云计算资源类型 节点的云计算资源类型。必须与下游节点的云计算资源类型相同。数据结构 数据模型指代您已经在云资源中创建的物理表。...
就绪检测节点
运行属性 运行属性 用于设置数据检测节点的云计算资源和所要检测的数据表，关键参数说明如下：参数 说明 云计算资源类型 节点的云计算资源类型。必须与下游节点的云计算资源类型相同。数据结构 数据模型指代您已经在云资源中创建的物理表。...
功能特性
计算引擎访问宽表数据 宽表引擎 动态列 Lindorm宽表引擎支持动态列功能，用于在实际业务中动态写入数据并执行查询，减少了数据结构设计的复杂性。动态列 二级索引 Lindorm宽表引擎提供了Tabular模型下的二级索引功能。在非主键匹配的查询...
本地数据库存储助手
边缘函数计算提供本地数据库存储助手，根据 ProductKey_DeviceName 格式，将设备上报数据分为不同的表，并存储到本地SQLite数据库，供函数计算中的其他函数（算法逻辑）查询。同时，因为边缘设备的存储空间受限，本地数据库存储助手还提供...
功能更新动态（2022年之前）
2021年08月19日 华北2（北京）、华东1（杭州）创建Python计算任务 2021年08月24日 华南1（深圳）2021年08月26日 华东2（上海）数据集成：数据集成读取和写入组件拓展、支持为AnalyticDB for PostgreSQL目标数据源一键建表操作、数据源权限...
公开与隐藏数据表资产
关键字：在 关键字 输入框，输入数据表名称或数据表描述的关键字，单击 查询，展示符合该条件的资产。所属工作组：指创建资产时的对应工作组。单击 所属工作组 下拉列表选择对应工作组，单击 查询，展示符合该条件的资产。模型类目：指创建...
公开与隐藏数据表资产
关键字：在 关键字 输入框，输入数据表名称或数据表描述的关键字，单击 查询，展示符合该条件的资产。所属工作组：指创建资产时的对应工作组。单击 所属工作组 下拉列表选择对应工作组，单击 查询，展示符合该条件的资产。模型类目：指创建...
文档更新动态（2022年之前）
2021年01月19日 华北2（北京）、华南1（深圳）、华东2（上海）、华东1（杭州）数据源 新建元表 支持查看元表的引用信息，同时您也可以单击引用的计算任务，查看计算任务的详情。新建元表支持选择Hologres数据源。2021年01月19日 华北2...
申请、续期和交还表权限
申请表名 选择需要申请权限的数据表，您可以按照数据表名称的关键字进行模糊搜索，也可以单击 图标，根据 表类型、环境、数据板块、项目 进行精确筛选。表类型：支持选择 物理表、元表、镜像表、物理视图、逻辑视图、建模逻辑表 和 标签...
申请、续期和交还表权限
申请表名 选择需要申请权限的数据表，您可以按照数据表名称的关键字进行模糊搜索，也可以单击 图标，根据 表类型、环境、数据板块、项目 进行精确筛选。表类型：支持选择 物理表、元表、镜像表、物理视图、逻辑视图、建模逻辑表 和 标签...
授权与回收表权限
区域 描述 ① 筛选及搜索区 您可按照数据表的名称关键字进行搜索，也可按照表类型、表环境、数据板块、表所在项目、数据负责人进行筛选。② 列表区 为您展示数据对象的名称、数据板块、表所在项目、数据负责人、权限个数信息，同时，您可以...
授权与回收表权限
区域 描述 ① 筛选及搜索区 您可按照数据表的名称关键字进行搜索，也可按照表类型、表环境、数据板块、表所在项目、数据负责人进行筛选。② 列表区 为您展示数据对象的名称、数据板块、表所在项目、数据负责人、权限个数信息，同时，您可以...
通过云计算资源导入逻辑表
您可以将已存在数据库中的数据表，通过云计算资源扫描方式，导入 数据资源平台 系统，实现逆向创建逻辑表。本文介绍如何通过云计算资源扫描方式创建逻辑表。前提条件 已添加工作组，具体操作，请参见 新建工作组。已新建目录，具体操作，请...
通过云计算资源导入逻辑表
您可以将已存在数据库中的数据表，通过云计算资源扫描方式，导入 企业数据智能平台 系统，实现逆向创建逻辑表。本文介绍如何通过云计算资源扫描方式创建逻辑表。前提条件 已添加工作组，具体操作，请参见 新建工作组。已新建目录，具体操作...
Join优化
表S数据不移动，表R数据根据分区计算的结果发送到S表扫表的节点 Colocation Join 对于多个相关联的表，在建表时确保表的数据分片数量一致，相同Hash分桶在分布式系统中的分布一致，那么实际查询时就可以跳过数据的Shuffle过程，直接进行...
通过选择已有表新建数据集
背景信息 新建数据表支持的计算资源类型有MaxCompute、Hive、RDS MySQL、*ADB MySQL 2.0。说明 带星号（*）的云计算资源仅支持在特定场景使用。操作步骤 登录 数据资源平台控制台。在页面左上角单击 图标，选择 探索。在顶部菜单栏，单击 ...
计费说明-半托管
数据处理单元规格 定价（CNY/年）500 298,000 1000 397,800 1500 497,600 2000 597,400 2500 697,200 3000 797,000 数据处理单元统计规则：数据处理单元总量=（数据同步任务数+数据集成任务数）/3+计算任务数（离线和实时）+明细逻辑表总数...
DataWorks V3.0
DataWorks V3.0的一个工作空间支持创建或绑定多个引擎实例（目前仅DataWorks专业版及以上版本支持），您可以更灵活地对业务所需要的计算引擎、计算任务和数据表等，进行统一管理。任务资源组编排 DataWorks V3.0将全新推出任务资源组编排，...
Bucket Shuffle Join
Shuffle Join：Shuffle Join会根据哈希计算，将A、B两张表的数据分散到集群的节点之中，所以这次操作的网络开销为 A表数据量+B表数据量，内存开销为B表数据量。FE中保存了SelectDB每个表的数据分布信息。如果Join语句命中了表的数据分布列...
查看资源使用情况-半托管
维度逻辑表：每1个维度逻辑表计算1个数据处理单元。事实逻辑表：每1个事实逻辑表计算1个数据处理单元。指标：每10个指标（派生指标和衍生指标的总数量）向上取整计算1个数据处理单元；其中，注册上挂指标不纳入统计。Virtual计算任务、虚拟...
计费说明-全托管
000 4500 60C240G 101,500 5000 60C240G 110,000 数据处理单元统计规则：数据处理单元总量=（数据同步任务数+数据集成任务数）/3+计算任务数（离线和实时）+明细逻辑表总数+[向上取整（指标数/10）]其中：前200个数据集成任务不纳入统计，...
查看资源使用情况-全托管
维度逻辑表：每1个维度逻辑表计算1个数据处理单元。事实逻辑表：每1个事实逻辑表计算1个数据处理单元。指标：每10个指标（派生指标和衍生指标的总数量）向上取整计算1个数据处理单元；其中，注册上挂指标不纳入统计。Virtual计算任务、虚拟...
代码模板
Join模板 Regular Join 如果您需要关联查询其他流表的数据进行计算，则可以使用Regular Join语法。Interval Join 如果您需要关联某张表在指定时间范围内的数据，则可以使用Interval Join语法。时态表Join 如果您需要流表中的每条数据都关联...
授权信息
资源类型 资源ARN 暂无数据 条件（Condition）下表是 函数计算（FC）定义的产品级条件关键字，这些条件关键字可以在RAM权限策略语句的 Condition 元素中使用，用来描述授予权限的条件。以下仅列举产品级的条件关键字，阿里云定义的 通用...
授权信息
资源类型 资源ARN 暂无数据 条件（Condition）下表是 函数计算（FC）（FC-Open）定义的产品级条件关键字，这些条件关键字可以在RAM权限策略语句的 Condition 元素中使用，用来描述授予权限的条件。以下仅列举产品级的条件关键字，阿里云...
授权信息
操作 API 访问级别 资源类型 条件关键字 关联操作 暂无数据 资源（Resource）下表是 实时计算 Flink版（RealtimeCompute）定义的资源，这些资源可以在RAM权限策略语句的 Resource 元素中使用，用来授予对该资源执行具体操作的权限。...
数据中心
主要功能包括数据表引入、本地数据导入。数据表 支持用户从已注册的计算资源类型中添加数据表。支持基于已添加的数据查看表信息、表内展示的字段。支持将已添加的源表数据进行删除。本地数据 支持用户通过上传本地文件方式将数据集导入至...
写数据表
组件截图 二、参数说明 参数名称 参数说明 参与方 建模的数据输入分别位于己方和对方的数据库中，在任务中，将对应方的ID加入到【读数据表】/【写数据表】组件中。表名 希望进行联邦建模的数据表。分区 DataTrust允许多分区表的输入和输出...
Flink_SQL任务开发方式
Dataphin的Flink_SQL任务支持多种开发方式，包括原生DDL+DML开发、使用Dataphin元表进行开发、使用Dataphin数据源表进行开发、以及使用计算源物理表进行开发，且不同开发方式所创建的表支持任意混用，包括镜像表。不同开发方式的使用方法、...
功能简介
数据查询为用户提供对云计算资源中物理表基本情况的概览能力，帮助用户直观了解物理表基础信息、字段内容分布等情况，建立对数据表的宏观理解，为建立数据标准、定义数据模型、定义数据加工逻辑等工作提供基础依据。数据导入 支持512 MB...
读数据表
组件截图 二、参数说明 参数名称 参数说明 参与方 建模的数据输入分别位于己方和对方的数据库中，在任务中，将对应方的ID加入到【读数据表】/【写数据表】组件中。表名 希望进行联邦建模的数据表。分区 DataTrust允许多分区表的输入和输出...
授权信息
odps:{#regionId}:{#accountId}:quota/{#NickName} Project acs:odps:{#regionId}:{#accountId}:projects/{#ProjectName} 条件（Condition）下表是 云原生大数据计算服务 MaxCompute（MaxCompute）定义的产品级条件关键字，这些条件关键字...
Flink_SQL任务开发方式
Dataphin的Flink_SQL任务支持多种开发方式，包括原生DDL+DML开发、基于Catalog开发、使用Dataphin元表进行开发、使用Dataphin数据源表进行开发、以及使用计算源物理表进行开发，且不同开发方式所创建的表支持任意混用，包括镜像表。...
同步节点
逻辑表 输入表的数据格式，由数据模型定义，在下拉列表中选择，表示该计算资源中提供数据的数据表的结构。当选择数据表时，。当选择星号（*）时，表示数据结构为任意结构，用于对未创建数据模型的表进行操作，此时物理表必须选择已经存在的...
同步节点
逻辑表 输入表的数据格式，由数据模型定义，在下拉列表中选择，表示该计算资源中提供数据的数据表的结构。当选择数据表时，。当选择星号（*）时，表示数据结构为任意结构，用于对未创建数据模型的表进行操作，此时物理表必须选择已经存在的...
访问宽表引擎数据
本文介绍如何在Lindorm计算引擎中通过SQL访问Lindorm宽表引擎数据。准备工作 通过SQL访问Lindorm宽表引擎数据前，需要了解 使用须知。根据作业的提交方式，请确保已完成了相应的初始化工作：JDBC开发实践 JAR作业开发实践 Python作业开发...
数据正确性
检查源表数据是否进入实时计算Flink版 排错指引 这种情况下没有Failover，但数据延时会很大，请查看数据曲线页面numRecordsIn_VVP，检查各Source输入是否有数据。解决方案 检查源表，保证上游有数据进入实时计算Flink版。检查数据是否被...
- 产品推荐
- 这些文档可能帮助您