使用EVSM实现应用层敏感数据加解密
使用加密密钥对应用服务数据的明文进行加密，产生应用数据密文，并将应用数据密文返回给应用服务。应用服务把密文数据存储到数据库。数据解密流程 应用系统从数据库读取已加密的密文数据，并将应用数据密文透传给云密码机进行解密。密文...
CDM接口数据层设计规范
接口数据层将不同数据域的汇总数据预关联在一个物理表，开放给应用使用，以减少应用层多次重复JOIN的成本开销，CDM接口数据层更适用于实时计算。命名规则：{project_name}.dwi{业务 BU 缩写/pub}{数据域/hbd}{数据粒度缩写}[{自定义表命名...
汇总数据层（DWS）
汇总数据层以分析的主题对象作为建模驱动，基于上层的应用和产品的指标需求构建公共粒度的汇总表。汇总数据层的一个表通常会对应一个统计粒度（维度或维度组合）及该粒度下若干派生指标。汇总表设计原则 聚集是指针对原始明细粒度的数据...
配置数据层
配置异地多活数据层主要包括数据源、数据同步以及数据保护规则。各单元之间数据源的数据会通过数据同步组件进行复制，并按照指定的数据保护规则承担不同比例流量写入和读取，使各个单元的数据保持最终一致性。当某个单元出现异常或者不可用...
配置数据层
配置异地应用双活数据层主要包括数据源、数据同步以及数据保护规则。各单元之间数据源的数据会通过数据同步组件进行复制，并按照指定的数据保护规则承担不同比例流量写入和读取，使各个单元的数据保持最终一致性。当某个单元出现异常或者不...
Quick BI中树形查询控件查询仪表板图表...查询了第一层数据
问题描述 Quick BI中查询控件设置为树形结构的查询条件，并且查询控件是依赖于非同源数据集，查询仪表板图表数据只查询了第一层数据。解决方案 在查询控件地方配置一下相对于的层级关系即可。适用于 Quick BI 公共云专业版V4.5.3
明细数据层（DWD）
明细数据层（DWD）规范 Dataphin中默认的事实表命名规范为：fct_{业务过程缩写}[_{自定义表命名标签缩写}]_{di/df，单分区增量/全量标识}。单分区增量全量标识通常为：i表示增量，f表示全量。例如，fct_ordcrt_trip_di（A电商公司航旅机票...
数据引入层（ODS）
在使用数据集成的过程中，建议您遵循以下规范：一个系统的源表只允许同步到MaxCompute一次，保持表结构的一致性。数据集成提供数据同步解决方案，您可以通过配置同步规则，实现离线数据全量及增量同步、增量数据实时写入、增量数据和全量...
数据引入层（ODS）
在使用数据集成的过程中，建议您遵循以下规范：一个系统的源表只允许同步到MaxCompute一次，保持表结构的一致性。数据集成提供数据同步解决方案，您可以通过配置同步规则，实现离线数据全量及增量同步、增量数据实时写入、增量数据和全量...
数据引入层（ODS）
在使用数据引入功能的过程中，建议您遵循以下规范：一个系统的源表只允许同步一次到MaxCompute，保持表结构的一致性。数据引入支持全量数据同步、实时增量数据同步（分钟或小时调度实现）两种同步方式。ODS层的表建议以统计日期及时间分区...
开启和使用冷数据分层存储
本文介绍如何开启冷数据分层存储功能，以及开启功能后的使用方式。使用限制 仅 PolarDB PostgreSQL版 14.9.13.0 及以上版本支持冷数据分层存储功能。开启冷数据分层存储功能后，无法关闭该功能，只能删除冷数据。如果没有存储数据，开启该...
开启和使用冷数据分层存储
本文介绍如何开启冷数据分层存储功能，以及开启功能后的使用方式。使用限制 仅 PolarDB PostgreSQL版（兼容Oracle）2.0.14.13.0 及以上版本支持冷数据分层存储功能。开启冷数据分层存储功能后，无法关闭该功能，只能删除冷数据。如果没有...
开启和使用冷数据分层存储
本文介绍如何开启冷数据分层存储功能，以及开启功能后的使用方式。使用限制 仅 PolarDB PostgreSQL版（兼容Oracle）2.0.14.13.0 及以上版本支持冷数据分层存储功能。开启冷数据分层存储功能后，无法关闭该功能，只能删除冷数据。如果没有...
GetRepoTagLayers-获取某Tag对应镜像的层数据
获取某Tag对应镜像层数据。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素...
附录：ODS层示例数据
本文为您提供ODS层各表格的示例数据，仅供您测试参考。s_auction.csv s_biz_order_delta.csv s_logistics_order_delta.csv s_pay_order_delta.csv s_sale.csv s_users_extra.csv
附录：ODS层示例数据
本文为您提供ODS层各表格的示例数据，仅供您测试参考。s_auction.csv s_biz_order_delta.csv s_logistics_order_delta.csv s_pay_order_delta.csv s_sale.csv s_users_extra.csv
某历史养成类游戏开发公司实时计算和数据仓库方案
2）数据明细层：操作数据层使用Spark Streaming等进行数据去噪、去重、字段规范后写入Lindorm SQL服务，也可以直接使用JDBC写入数据；3）数据汇总层：数据明细层的数据可以定期（按天或者按小时）ETL（比如关联维表、过滤、聚合）后写入到...
使用最后一次访问时间的生命周期规则实现数据智能分层
您可以通过基于最后一次访问时间（Last Access Time）策略的生命周期规则来自动监测数据的访问模式并识别冷数据，然后将识别出来的冷数据进行存储类型的转换，从而达到数据的智能分层存储，最终降低存储成本。场景说明 假设某多媒体网站...
获取四层加速流量监控数据
调用DescribeDcdnDomainIpaTrafficData获取加速域名的四层加速网络流量监控数据，支持获取最近90天的数据。接口说明 不指定 StartTime 和 EndTime，默认返回过去 24 小时的数据；指定 StartTime 和 EndTime，返回指定起止时间的数据。该...
DescribeDcdnDomainIpaBpsData-获取四层加速的带宽数据
调用DescribeDcdnDomainIpaBpsData获取加速域名四层加速的网络带宽监控数据，支持获取最近90天的数据。接口说明 该接口获取数据的单位为：bit/second。不指定 StartTime 和 EndTime，默认返回过去 24 小时的数据；指定 StartTime 和 ...
01新建模型目录
DWD：全称Data Warehouse Detail，明细数据层，该层数据和源数据基本保持一致，保存着最细粒度的数据，一般存放所有的明细数据，是所有后期分析的数据基础。具有数据量大，查询计算较慢的特点。DWS：全称Data Warehouse Summary，汇总数据...
算子
Filter AnalyticDB MySQL版 支持两种数据过滤过程：数据源过滤：使用存储层数据的索引进行过滤。说明 没有独立的算子用于表示数据源过滤过程，该过程中的过滤条件会体现在TableScan算子中。关于TableScan算子的详情，请参见 TableScan。非...
数据模型架构规范
数据层次的划分 ODS：Operational Data Store，操作数据层，在结构上其与源系统的增量或者全量数据基本保持一致。它相当于一个数据准备区，同时又承担着基础数据的记录以及历史变化。其主要作用是把基础数据引入到MaxCompute。CDM：Common ...
创建数仓分层
DataWorks的数仓分层功能，默认为您创建了 数据引入层ODS（Operational Data Store）、公共维度层DIM（Dimension）、明细数据层DWD（Data Warehouse Detail）、汇总数据层DWS（Data Warehouse Summary）及 应用数据层ADS（Application Data...
修饰词
应用数据层 汇总数据层 您需要单击 高级配置，才可配置当前参数。集市/主题 当 数仓分层 配置为 应用数据层 时，用于选择修饰词所属的集市或主题。业务分类 当 数仓分层 配置为 汇总数据层 时，用于与数据域、数据集市建立关联关系。数据域...
公共规范
TINYINT TINYINT SMALLINT/MEDIUMINT SMALLINT INTEGER INT BIGINT BIGINT FLOAT FLOAT DOUBLE DOUBLE DECIMAL DECIMAL CHAR/VARCHAR VARCHAR LONGTEXT/TEXT ...TIMESTAMP/TIME/YEAR STRING DATETIME DATETIME CDM数据公共层如果是引用ODS层数据...
确定需求
明细数据层和汇总数据层应该如何设计？公共维度层该如何设计？是否有公共的指标？数据是否需要冗余或沉淀到汇总数据层中？举例：数据分析师需要了解A公司电商业务中厨具类目的成交金额。当获知这个需求后，您需要分析：根据什么（维度）...
确定需求
明细数据层和汇总数据层应该如何设计？公共维度层该如何设计？是否有公共的指标？数据是否需要冗余或沉淀到汇总数据层中？举例：数据分析师需要了解A公司电商业务中厨具类目的成交金额。当获知这个需求后，您需要分析：根据什么（维度）...
创建逻辑模型：汇总表
数据分层是将相同功能作用的表挂载至统一的数据层，方便您查找使用。汇总表通常挂载于汇总数据层，用于将一个统计粒度（维度或维度组合）及该粒度下的多个派生指标汇总输出，为后续的业务查询，数据分发等提供基础。您也可以根据业务需求，...
确定需求
在真实业务场景下，可以根据业务需求、使用频度、复用性及汇总层数据计算存储进行考虑，拆解分析。例如，本例中还可以定义全表为粒度，只是该粒度中无需维度，然后定义业务限定是类目为厨具，其他保持不变，如无特殊数据情况，也可得到相同...
应用场景
3.实时数据仓库 3.1 数据总线替换传统数据库，构建实时数仓 从Lambda架构到Kappa架构，通过数据总线搭建原始数据层，实时明细层和实时汇总层，打造实时数据仓库。3.2 收益 统一的Kappa架构 传统Lambda架构的两条链路缩减为一条，大大降低...
创建逻辑模型：应用表
数据分层是将相同功能作用的表挂载至统一的数据层，方便您查找使用。应用表通常挂载于应用数据层，用于将一个统计粒度（维度或维度组合）及该粒度下的多个指标汇总输出，为后续的业务查询，数据分发等提供基础。您也可以根据业务需求，选择...
派生指标
您可根据需要选择创建汇总数据层或应用数据层的指标。派生指标的基本信息配置参考如下。参数 描述 数仓分层 用于选择创建的派生指标所属的分层。业务分类 用于确定派生指标所属的业务分类。业务分类可与数据域、数据集市建立关联关系。当 ...
数据使用诊断
DataWorks的数据使用诊断，为您提供了对当前DataWorks工作空间的数据内容及数据隐私的安全保护能力，以及诊断相关安全问题的最佳实践及解决方案，帮助您快速建立数据使用时和使用后的基本安全体系。进入数据使用诊断 登录 DataWorks控制台...
复合指标
汇总数据层：用于承载公共层的复合指标。应用数据层：用于承载应用层的复合指标。已创建业务过程，或数据集市/主题域，用于确定复合指标所反映的特定场景或产品的数据类别。不同分层的复合指标其创建要求具体如下：复合指标（公共层）：需...
全景视角
阿里云DataWorks为您提供数据生产、数据使用、数据管理视角下的主要数据治理情况。您可以根据需求选择合适的视角，高效的进行数据治理工作。背景信息 为提高不同使用场景下的数据治理效率和质量，DataWorks为您提供以下视角：数据管理视角...
功能简介
通过统一的数据资产目录，沉淀数据供给方生产的各类型数据，帮助数据使用者快速了解和获取业务需要的高质量数据资产，促进数据资产发挥更大的业务价值。同时，通过查看数据资产全局血缘，清晰的了解数据资产的上下游关联。概览 对数据资产...
功能简介
通过统一的数据资产目录，沉淀数据供给方生产的各类型数据，帮助数据使用者快速了解和获取业务需要的高质量数据资产，促进数据资产发挥更大的业务价值。同时，通过查看数据资产全局血缘，清晰的了解数据资产的上下游关联。概览 对数据资产...
查询PolarDB代理层（PolarProxy）的性能数据
查询PolarDB代理层（PolarProxy）的性能数据。接口说明 说明 该接口仅适用于 PolarDB MySQL 版。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权...
应用场景
只需要将原来的 N 份数据，每一份都通过分区表打散为 M 个数据分区，利用分区表打破单机的容量限制，就可以从数据层完成这一拆分过程，无需业务改造，极大地节省了成本，降低了技术风险。同时，OceanBase 数据库的分区表方案也可以使得用户...
- 产品推荐
- 这些文档可能帮助您