数仓分层
在阿里巴巴的数据体系中，我们建议将数据仓库分为三层，自下而上为：数据引入层（ODS，Operation Data Store）、数据公共层（CDM，Common Data Model）和数据应用层（ADS，Application Data Service）。数据仓库的分层和各层级用途如下图所...
数仓分层
在阿里巴巴的数据体系中，我们建议将数据仓库分为三层，自下而上为：数据引入层（ODS，Operation Data Store）、数据公共层（CDM，Common Data Model）和数据应用层（ADS，Application Data Service）。数据仓库的分层和各层级用途如下图所...
创建Hologres外部表
层级是用来定义和管理数据仓库分层，通常分为贴源层、共享层和分析层。您可根据表的业务用途，将其挂载至合适的层级。说明 单击 图标可自定义层级。详细操作请参见 表管理。物理分类 表的物理分类，即基于业务使用视角对表进行更详细的分类...
确定需求
您在构建数据仓库之前，首先需要确定构建数据仓库的目标与需求，并进行全面的业务调研。您需要了解真实的业务需求，以及确定数据仓库要解决的问题。业务调研 充分的业务调研和需求分析...需求调研的分析产出通常是记录原子与派生指标的文档。
确定需求
您在构建数据仓库之前，首先需要确定构建数据仓库的目标与需求，并进行全面的业务调研。您需要了解真实的业务需求，...需求调研的分析产出通常是记录原子与派生指标的文档。icmsDocProps={'productMethod':'created','language':'zh-CN',};
ThingModelJson数据说明
调用某些物模型相关API时，请求参数或返回参数中包含参数 ThingModelJson，该参数的取值格式为物模型功能定义在物联网平台系统的存储结构，与TSL中的数据结构有所不同。ThingModelJson中所有字段按照key的字符排序。物模型功能定义的限制...
人工神经网络
人工神经网络（Artificial Neural Network，缩写ANN），简称神经网络或类神经网络，是一种模仿生物神经网络（动物的中枢神经系统，特别是大脑）的结构和功能的数学模型或计算模型，用于对函数进行估计或近似。人工神经网络有多层和单层之分...
01新建模型目录
新建模型目录指完成数据仓库的层级规划设计，模型目录用于管控各目录下的模型，实现层级分离，本文介绍如何创建一级目录STG、ODS、DWD、DWS层，及二级目录。前提条件 已新建工作组“信息中心”，具体操作，请参见 新建工作组。背景信息 STG...
OSS目录是否有层级限制？
阿里云OSS采用扁平化数据模型，实际上并没有传统文件系统意义上的目录层级结构。但是，您可以通过在对象（Object）的键（Key）中使用正斜线（/）来模拟文件夹结构，从而形成类似目录层级的效果。通过在Object Key中使用正斜线来模拟目录...
短信发送状态回执错误码
调用接口成功后，运营商会异步返回短信发送状态码。阿里平台 错误码（Code）错误信息（Message）原因及解决方案 isv.SMS_SIGNATURE_SCENE_ILLEGAL 签名和模板类型不一致 原因：模板和签名类型不一致，例如：用验证码签名发送了通知短信或...
创建和管理结构对象映射
系统支持创建结构对象和领域对象，以及结构对象和数据对象的映射关系。后续生成代码时，系统会根据您配置的映射关系生成对应的双向converter。您可以通过配置字段映射，实现从接口到逻辑，以及到存储层的扩展，而不需要在中心应用中通过...
创建多表join
目前提供了 4 种方式的应用结构创建方式，同时OpenSearch-行业算法版提供了多表支持功能，以方便业务复杂场景下调用。主辅表数据关联关系 通过手动创建应用结构方式，为应用创建多个表时，多表之间数据关联关系描述如下：目前主辅表，数据...
汇总数据层（DWS）
为获取和查询与原始模型一致的结果，聚集的维度和度量必须与原始模型保持一致，因此聚集是不跨越事实的，所以原子指标只能基于一张事实表定义，但是支持原子指标组合为衍生原子指标。聚集会带来查询性能的提升，但聚集也会增加ETL维护的...
页面
Page 是一个 Webview 的逻辑抽象层，同时也是组件挂载的根节点。代码引入 import { Page } from '@ali/kylin-framework';页面声明结构 一个 Page 包含的接口在 页面接口 中声明，提供了对 Vue 实例的完整控制能力，简易的 Page 使用如下，...
错误编码：HSF-0029
必须是完整的Java类名，而且如果参数是原子类型，这里的类型就是原子类型的名称。return 对端业务响应或业务异常*@throws HSFException*如果本侧或对端HSF层出现错误，则抛出HSFException*@throws Throwable*如果服务端业务出现异常，则...
创建逻辑模型：应用表
应用表是面向具体业务场景时，用于组织相同时间周期、相同维度的多个原子指标、派生指标或统计粒度的统计数据，为后续的业务查询，OLAP分析，数据分发等提供基础。本文为您介绍如何创建应用表。前提条件 已创建数据分层。数据分层是将相同...
核心概念
本文为您介绍Dataphin中，业务板块、数据域、项目、维度、业务过程、维度逻辑表、事实逻辑表、原子指标等基本概念。数据板块 数据板块是逻辑空间的重要组成部分，是基于业务特征划分的命名空间。当数据的业务含义存在较大差异时，您可以...
CREATE TABLE AS
Hologres从V1.3.21版本开始，支持使用CREATE TABLE AS语句创建表，复制表结构的同时也可以选择复制数据。本文为您介绍在Hologres中CREATE TABLE AS的用法。背景信息 CREATE TABLE AS的功能为：创建一个与源表结构或者查询Query结果相同的新...
什么是图数据库GDB?
分类 图数据库 关系型数据库 模型 图结构 表结构 存储信息 结构化/半结构化数据库 高度结构化数据库 2度查询 高效 低效 3度查询 高效 低效/不支持 空间占用 高 中 开始使用 您可以通过 入门概览 了解如何购买实例、重置密码以及链接实例和...
数据存储
表 在云数据库SelectDB中，表（Table）是存储结构化数据的一种特殊形式。一张表由行（Row）和列（Column）组成，其中行表示一行数据，列表示一行数据中不同的字段。语法 CREATE TABLE[IF NOT EXISTS][database.]table(column_definition_...
Serverless存储层
存储层的整体架构如下图所示：存储层与其他组件的交互如下图所示：AnalyticDB MySQL 的存储层构建在云原生基础设施之上，该架构有如下几个特点：分层存储 存储介质提供冷热分层存储能力。实时数据存储在热存储（SSD）上，保证超低延时的...
工程脚手架和Annotation注解
本文介绍工程的脚手架结构、依赖关系和相关Annotation注解。工程脚手架结构 工程脚手架结构示例如下：工程Module Module 职责 说明 Entry 核心业务入口。业务入口，当应用通过SpringCloud实现则Controller在该模块编写，通过Controller调用...
Compaction（Beta）
Compaction操作将多个数据文件合并成一个更大的数据文件，执行Compaction操作有助于重新组织数据存储结构，提高读写效率。本文介绍在Hologres中如何进行Compaction操作。背景信息 Hologres的数据写入模型使用了与LSM-Tree类似的数据结构，...
通用行业模板配置
多表数据关联支持 表a->表b，表b->表c 表a->表d 不支持超过2层多表数据关联 表a->表b，表b->表c，表c->表d 不支持环状多表数据关联 表a->表b，表b->表a 数据模型 定义应用结构流程：1、通过模板创建应用结构。用户可以将自己定义的应用结构...
宽表模型设计
本文介绍如何设计车联网场景下的数据表结构和多元索引结构。数据表结构 假设存储车辆元数据的数据表名称为vehicles_metadata，表结构请参见下表。说明 关于表设计的更多信息，请参见 表设计。字段名称 类型 描述 vin_id（主键列）String ...
明细粒度事实层（DWD）
明细粒度事实层DWD（Data Warehouse Detail）以业务过程驱动建模，基于每个具体的业务过程特点，构建最细粒度的明细层事实表。您可以结合企业的数据使用特点，将明细事实表的某些重要维度属性字段做适当冗余，即宽表化处理。公共汇总粒度...
明细粒度事实层（DWD）
明细粒度事实层DWD（Data Warehouse Detail）以业务过程驱动建模，基于每个具体的业务过程特点，构建最细粒度的明细层事实表。您可以结合企业的数据使用特点，将明细事实表的某些重要维度属性字段做适当冗余，即宽表化处理。公共汇总粒度...
CDM汇总层设计规范
本文为您介绍CDM汇总层设计规范。命名规范 命名规则：{project_name}.dws{业务缩写/pub}{数据域缩写}{数据粒度缩写}[{自定义表命名标签缩写}]{统计时间周期范围缩写}{刷新周期标识}{单分区增量全量标识}。命名说明：在默认情况下，离线计算...
Java代码扫描与平台模型映射的特殊规则说明
则除了A本身被扫描为结构对象，B、C、D、E都会被扫描为结构对象。说明 为防止代码中模型依赖的其他类（未标记为模型）依赖关系不断传递、层级过深，故扫描过程以标记的模型为出发点，目前最多只解析n层依赖深度。到达n层后，仅上报类型名，...
从零开始完成无锁结构变更
数据管理DMS的无锁结构变更功能可以较好地规避因锁表而导致的业务阻塞，以及数据库原生OnlineDDL带来的主备延迟问题。本文以云数据库RDS MySQL举例，引导您快速使用DMS完成无锁结构变更。新增实例并开启无锁结构变更 登录 数据管理DMS 5.0...
GwpResourceConstitute
名称 类型 描述 示例值 object gwp 清单碳排放结构。name string 名称。逐层含义不同，最外层是总碳排放量。总碳排放量 unit string 排放单位。kgCO₂e/Piece(s)resourceType integer 清单类型。在清单层有意义，其它层可为空。1 ...
通用文字识别
为了能够更好的还原文字信息和文档结构，读光文档识别在通用全文识别能力（文字定位、行分析、文字识别）的基础上，增加了文档结构的版面分析和文档图像处理能力，使得文档类图像也能按照结构化的方式进行文档元素提取，进一步提升文档识别...
使用OOS在线YAML/JSON编辑器编写模板
原子动作调用OpenAPI名称和参数智能提示 当您在定义OOS模板的任务信息（Tasks）时，YAML模板编辑器可以快速准确的提示您原子动作调用的OpenAPI名称和参数。JSON模板编辑器使用说明 JSON模板编辑器支持自动补全模板内容、提示参数等功能。...
应用场景
3.实时数据仓库 3.1 数据总线替换传统数据库，构建实时数仓 从Lambda架构到Kappa架构，通过数据总线搭建原始数据层，实时明细层和实时汇总层，打造实时数据仓库。3.2 收益 统一的Kappa架构 传统Lambda架构的两条链路缩减为一条，大大降低...
JSON解析
Logtail JSON解析插件是原生插件，支持解析Object类型的JSON日志，提取为键值对，即提取Object首层的键作为Key，Object首层的值作为Value。但Logtail JSON解析插件不支持解析Array类型的JSON日志。功能入口 当您需要使用Logtail插件处理...
产品架构
模型 描述 宽表模型 类Bigtable/HBase模型，可应用于元数据、大数据等多种场景，支持数据版本、生命周期、主键列自增、条件更新、局部事务、原子计数器、过滤器等功能。更多信息，请参见 宽表模型。时序模型 针对时间序列数据的特点进行...
HTTP
更正文档 概述 HTTP（HyperText Transfer Protocol）是一款用于传输超文本的应用层协议。AliOS Things的网络协议栈包含了HTTP组件，提供HTTP客户端标准能力。开发者可以通过组件API，在设备端快速实现通过HTTP GET、POST等方法与服务端进行...
资产全景
数据架构 包含 业务对象、业务活动、业务限定、原子指标、指标 五种指标数量，其中，指标 包括派生指标、衍生指标和自定义指标三类指标。数据模型 包含 维度逻辑表、事实逻辑表、汇总逻辑表 三种指标数量，而维度逻辑表数+事实逻辑表数+...
资产全景
数据架构 包含 业务对象、业务活动、业务限定、原子指标、指标 五种指标数量，其中，指标 包括派生指标、衍生指标和自定义指标三类指标。数据模型 包含 维度逻辑表、事实逻辑表、汇总逻辑表 三种指标数量，而维度逻辑表数+事实逻辑表数+...
UpdateFunction-更新函数
说明 多个层会按照数组下标从大到小的顺序进行合并，下标小的层的内容会覆盖下标大的层的同名文件。string 否 层资源的名称。layername description string 否 函数描述。test desc environmentVariables object 否 为函数设置的环境变量，...
- 产品推荐
- 这些文档可能帮助您