文档更新动态（2022年）
新增业务对象之间、业务对象和业务活动之间、业务活动之间的关系类型配置。新增支持创建枚举业务对象及虚拟业务对象，并在创建相关逻辑表时可关联该类型的对象。逻辑表整体功能优化，如提交详情优化、派生指标支持使用最大分区、逻辑表创建...
基础术语
本术语表对术语中文按拼音进行排序。中文 英文 定义 报表 Report 指包含单个或多个数据源的视图，集中展示各数据源的监控结果。大盘 Dashboard 指包含多个报表的一个页面。调用外部的服务 Service Access Layer（SAL）在一个面向服务架构...
从MaxCompute外表导入（20.3及以上）
配置项 说明 中文名 定义表的中文名称。主题 DataWorks的主题相当于文件夹。定义表所属的一级文件夹与二级文件夹。您可基于业务用途对表进行归类，将同类表挂载至相同文件夹中。说明 一级主题、二级主题仅为DataWorks上表管理文件夹的呈现...
关系表列定义
本文为您介绍迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle 租户时，CREATE TABLE DDL 关系表列定义的支持转换范围。总览 relational_properties:{ column_definition|virtual_column_definition|period_definition|{ out_of_line_...
表的创建和使用
维度表（广播表）定义 DISTRIBUTE BY BROADCAST 用于定义维度表（广播表），维度表会在每个节点都会有一个冗余副本，所以建议维度表的数据量不要太大。二级分区定义 PARTITION BY VALUE(col9|YEARMONTHDAY(col9))PARTITIONS 365 用于定义二...
SimRank+相似度计算算法
输入输出格式 输入表（支持分区表）包含三列：user_id:用户ID、session_id、Query等（类型不限）item_id:物品ID（类型不限）weight:double类型的权重 category:[可选]item的类目，设置该字段可提高精度（类型不限）输入表中不可有重复的,...
表管理
表管理功能用于定义DataWorks中的表分区字段、临时表、导入表的标识，方便您根据表名称即可判断该表的类别；同时，支持定义表的主题和物理层级，可基于功能、类型等多个维度，将同类型的表放置相同的主题或层级统一管理。使用限制 仅 空间...
逻辑表配置概述
对于逻辑表任务，您需定义该任务的调度相关属性，包括调度周期、调度依赖、调度参数等。本文为您介绍逻辑表任务属性与调度的相关内容。逻辑表任务配置入口 在Dataphin首页，单击顶部菜单栏的 研发。按照下图操作指引，进入逻辑表任务配置...
通用行业模板配置
多表数据关联支持 表a->表b，表b->表c 表a->表d 不支持超过2层多表数据关联 表a->表b，表b->表c，表c->表d 不支持环状多表数据关联 表a->表b，表b->表a 数据模型 定义应用结构流程：1、通过模板创建应用结构。用户可以将自己定义的应用结构...
DDL差异
MySQL 云原生数据仓库AnalyticDB MySQL 定义 ALTER DATABASE 不支持 修改数据库属性。ALTER EVENT 不支持 修改现有事件的一个或多个特征。ALTER FUNCTION 不支持 修改函数的定义。ALTER LOGFILE GROUP 不支持 修改日志文件组。ALTER ...
公共维度汇总层（DIM）
数据仓库是业务源系统的数据整合，不同业务系统或者同一业务系统中的表之间存在关联性。根据对业务的梳理，确定哪些表和主维表存在关联关系，并选择其中的某些表用于生成维度属性。以商品维度为例，根据对业务逻辑的梳理，可以得到商品与...
公共维度汇总层（DIM）
数据仓库是业务源系统的数据整合，不同业务系统或者同一业务系统中的表之间存在关联性。根据对业务的梳理，确定哪些表和主维表存在关联关系，并选择其中的某些表用于生成维度属性。以商品维度为例，根据对业务逻辑的梳理，可以得到商品与...
管理场景
条件之间可定义为 且 关系，也可定义为 或 关系组。或 关系是以条件组形式存在，即每个条件组的检查任意一个生效，则场景命中生效，就需执行场景动作。可选条件类型：设备状态：需选择已创建的产品、设备（一个或全部设备）和过滤条件。物...
概述
远程表的表类型可以是远程服务器支持的任何类型，包括MyISAM、InnoDB和CSV等。具有数据库表的本地集群，其中表定义与远程服务器上相应表的定义相匹配。表定义存储在MySQL数据字典中，本地集群上没有数据文件，表定义包含一个指向远程表的...
表设计规范
DTS 规划写入的表存量分区与增量分区的关系。设置Commit频率。客户端（Run SQL or Tunnel upload）需要避免高频小数据量文件的插入或者上传。SDK SDK执行INSERT INTO语句，数据上传至表或者分区后，使用MERGE语句整理小文件。说明 ...
简介
数据模型是业务数据的抽象模型，它由实体互相关联形成的关系网来表征模型之间的关系。数据模型 通过数据实体建模，用户不用关心底层数据表的设计，通过创建数据模型可定义应用的数据模型的格式。数据模型里的每个实体代表一个业务抽象体，...
数仓构建流程
基本概念 在正式学习本教程之前，您需要首先理解以下基本概念：业务板块：比数据域更高维度的业务划分方法，适用于庞大的业务系统。维度：维度建模由Ralph Kimball提出。维度模型主张从分析决策的需求出发构建模型，为分析需求服务。维度是...
数仓构建流程
基本概念 在正式学习本教程之前，您需要首先理解以下基本概念：业务板块：比数据域更高维度的业务划分方法，适用于庞大的业务系统。维度：维度建模由Ralph Kimball提出。维度模型主张从分析决策的需求出发构建模型，为分析需求服务。维度是...
CREATE TABLE
定义一个新表。语法 CREATE[GLOBAL TEMPORARY]TABLE table_name({ column_name data_type[DEFAULT default_expr][column_constraint[.]]|table_constraint }[,.])[ON COMMIT { PRESERVE ROWS|DELETE ROWS }][TABLESPACE tablespace]其中 ...
配置说明
table.name.format=<topic>#指定Topic与目标表的映射关系，以"<topic>:<tablename>"格式映射Topic和表名，Topic和表名之间的分隔符为英文冒号（:），不同映射之间分隔符为英文逗号（,）。如果缺省，则采取table.name.format的配置。topics....
CREATE TABLE
CREATE TABLE 用于在当前数据库中创建一个新的、初始为空的表。简介 CREATE TABLE 将在当前数据库中创建一个新的、初始为空的表。该表将由发出该命令的用户所拥有。如果给定了一个模式名（例如 CREATE TABLE myschema.mytable.），那么该表...
数仓构建流程
基本概念 在正式学习本教程之前，您需要了解以下基本概念：数据板块：数据板块定义了数据仓库的多种命名空间，是一种系统级的概念对象，是比主题域更高维度的业务划分方法，适用于庞大的业务系统。当数据的业务含义存在较大差异时，您可以...
锁以及排查锁
冲突关系 锁之间的冲突关系如下表所示，冲突意味着一个操作获取锁，其他操作获取的锁都需要等待。说明 表示不冲突，表示冲突。Requested Lock Mode ACCESS SHARE ROW SHARE ROW EXCLUSIVE SHARE UPDATE EXCLUSIVE SHARE SHARE ROW ...
同步数据到时序表
table.name.format=<topic>#指定Topic与目标表的映射关系，以"<topic>:<tablename>"格式映射Topic和表名，Topic和表名之间的分隔符为半角冒号（:），不同映射之间分隔符为半角逗号（,）。如果缺省，则采取table.name.format的配置。topics....
新建及管理数据分类
数据分类用于定义数据在安全领域的业务属性，可对数据进行多级分类打标，更贴合行业标准，本文为您介绍如何新建及管理数据分类。前提条件 已创建数据分类层级。如需创建，请参见 新建数据分类层级。已创建识别特征。如需创建，请参见 添加...
新建及管理数据分类
数据分类用于定义数据在安全领域的业务属性，可对数据进行多级分类打标，更贴合行业标准，本文为您介绍如何新建及管理数据分类。前提条件 已创建数据分类层级。如需创建，请参见 新建数据分类层级。已创建识别特征。如需创建，请参见 添加...
字段标准
字段标准是对含义相同但字段名称不同的数据进行统一规范管理的数据准则，字段标准可定义字段的取值范围、度量单位等内容。当字段标准发生变化时可快速定位或变更对应的表，极大地提升了应用效率和准确率。本文将为您介绍字段标准的创建方法...
标签工厂新手指引
行为关系：行为关系指通过具体的行为定义实体之间的关系，如“用户购买商品”通过“购买”这个行为描述了“用户”行为主体和“商品”行为对象这两个实体之间的关系，定义好的行为关系可以用于开发行为统计、行为偏好以及规则组合类型的标签...
订阅关系（Subscription）
本文介绍 云消息队列 RocketMQ 版 中订阅关系（Subscription）的定义、模型关系、内部属性及使用建议。定义 订阅关系是 云消息队列 RocketMQ 版 系统中消费者获取消息、处理消息的规则和状态配置。订阅关系由消费者分组动态注册到服务端...
部分索引
一个 部分索引 是建立在表的一个子集上，而该子集则由一个条件表达式（被称为部分索引的 谓词）定义。而索引中只包含那些符合该谓词的表行的项。部分索引是一种专门的特性，但在很多种情况下它们也很有用。使用部分索引的一个主要原因是...
如何设计时序数据表
以上文的空气质量监测的时序模型为例，可以采用的表定义如下所示。CREATE TABLE aqm(city VARCHAR TAG,district VARCHAR TAG,id VARCHAR TAG,time TIMESTAMP,pm2_5 DOUBLE,pm10 DOUBLE,so2 DOUBLE,no2 DOUBLE,PRIMARY KEY(id)/单机版实例不...
确定需求
例如，本例中还可以定义全表为粒度，只是该粒度中无需维度，然后定义业务限定是类目为厨具，其他保持不变，如无特殊数据情况，也可得到相同数据结果，只是计算存储过程消耗可能有不同。上述案例，不同路径，组合定义出来的派生指标，可能是...
表分区
PolarDB支持基本的表划分。本节介绍为何以及怎样把划分实现为数据库设计的一部分。简介 划分指的是将逻辑上的一个大表分成一些小的物理上的片。划分有很多益处：在某些情况下查询性能能够显著提升，特别是当那些访问压力大的行在一个分区...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
开发和调试
Dodps.runner.mode=local-Dodps.project.name=<project.name>-Dodps.end.point=<end.point>-Dodps.access.id=<access.id>-Dodps.access.key=<access.key>对于本地模式（即不指定 odps.end.point 参数），需要在 warehouse 创建 sssp_in、...
CREATE TABLE
定义了分布键的表，又称普通表。AnalyticDB for MySQL 对分布键的值进行哈希计算，根据计算得出的哈希值，将不同行的数据分散到不同 分片（Shard），有利于提高可扩展性和查询性能。数据分片示意图 基本用法：每个表 只能有一个分布键。...
标签工厂概述
行为关系：通过具体的行为定义实体之间的关系，如“用户购买商品”通过“购买”这个行为描述了“用户”和“商品”这俩个实体之间的关系，定义好的行为关系可以用于开发行为统计以及偏好类型的标签，或者直接用于圈选群组。标签加工：标签是...
使用MaxCompute访问表格存储
表格存储与MaxCompute都有其自身的类型系统，两者之间的类型对应关系如下表所示。Tablestore MaxCompute STRING STRING INTEGER BIGINT DOUBLE DOUBLE BOOLEAN BOOLEAN BINARY BINARY 准备工作 使用MaxCompute访问表格存储前，您需要完成...
批计算
全局二级索引支持在指定列上建立索引，生成的索引表中数据按指定的索引列进行排序，数据表的每一个数据写入都将自动以异步方式同步到索引表。步骤二：在EMR集群侧创建Spark外表 登录Master节点。执行如下命令启动Spark SQL CLI，用于Spark...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
- 产品推荐
- 这些文档可能帮助您