业产技融合分层协作方案
什么是业产技分层协作？业产技」是 业务团队、产品团队、技术团队 的缩写，代表研发流程中的三个典型的职能团队。在经典的研发协作流程定义中，更偏向于技术相关职能角色的分工定义，例如需求管理、迭代排期、缺陷跟踪等协作流程，即使这些...
X-Engine简介
如果LSM存储结构持续写入，不做其他的动作，那么最终会成为如下结构。这种结构对于写入是非常友好的，只要追加到最新的内存表中即完成，为实现故障恢复，只需记录Redo Log，因为新数据不会覆盖旧版本，追加记录会形成天然的多版本结构。...
文档修订记录
复合指标 2023.7.13 新增功能 数据集成 实时ETL同步方案根据来源Kafka指定Topic的内容结构对目的Hologres表结构做初始化，然后将Kafka指定Topic的存量数据同步至Hologres，同时也持续将增量数据实时同步至Hologres。Kafka实时ETL同步至...
零售电商数据建模
数仓分层体系：数据仓库的分层体系如下图所示：维度概念 维度：维度是观察业务状况的视角，提供围绕某一业务过程事件所涉及的“谁、什么、何处、何时、为什么、如何”等背景。例如，会员维度、日期维度、城市维度等。指标概念 指标：是 ...
新功能发布记录
您可以在数据库版本列表中下载、比对、恢复历史版本的表结构。管理表结构版本 超级SQL模式 新增 开启超级SQL模式后，管理员和DBA在SQLConsole中执行SQL语句将不受安全规则的限制。超级SQL模式 优化SQL风险审核 优化 在SQLConsole中增加无锁...
Mesh 网关
具体内容将从下述几个方面展开：网关的演变历史：解释网关为什么要 Mesh 化。网关 Mesh 化：阐述如何进行 Mesh 化改造。双十一落地：介绍在此过程中实现三板斧能力。网关的演变历史 当前，蚂蚁集团的无线网关接入了数百个业务系统，提供数...
GIN索引
通过这种索引结构可以快速的查找到包含指定关键字的元组，因此GIN索引特别适用于多值类型的元素搜索。应用场景 搜索多值类型，例如数组、全文检索 按照任意列进行搜索 查找的数据比较稀疏 操作符 操作符 示例*from test where id[1,2];...
政务舆情分析系统的数据库解决方案
分层存储：对老数据可以选择自动过期或者分层存储。因为舆情数据往往关注近期热点，老的数据访问频率较低。增量通道：需要有较好的增量通道，可以定期把新增的数据导出至计算平台，增量舆情数据需要可以实时同步至对应的计算平台做舆情分析...
数仓规划概述
分层归属 DataWorks为您提供了 贴源层、公共层、应用层 等分层归属，您可以将不同功能作用的分层挂载至相应归属，通过层级化结构呈现输出。下图以默认的五层数据分层为例，数据分层规划完成后，后续的表数据存储可根据规划分别存储至不同的...
冷热分层
更多介绍请参见 结构化大数据分析平台设计、面向海量数据的极致成本优化-云HBase的一体化冷热分离 和 云上如何做冷热数据分离。冷热数据 数据按照实际访问的频率可以分为热数据、温数据和冷数据。其中冷数据的数据量较大，很少被访问，甚至...
什么是OSS-HDFS服务
分层命名空间支持将对象组织到一个目录层次结构中进行管理，并能通过统一元数据管理能力进行内部自动转换。对Hadoop用户而言，无需做数据复制或转换就可以实现像访问本地HDFS一样高效的数据访问，极大提升整体作业性能，降低了维护成本。...
创建数仓分层
层级结构展示 DataWorks为您提供了 贴源层、公共层、应用层、其他 等分层归属，您可以将创建的数据分层挂载至不同的分层归属。贴源层：主要用于数据库、日志、消息等基础数据的引入。该层级只能挂载 贴源表。公共层：主要完成公共数据的...
RDS术语
目录是一种分层结构，用于存储同一局域网络上对象的信息。例如，AD存储有关用户账号的信息，例如名称、密码、电话号码等，并允许同一局域网络上的其他授权用户访问此信息。AD是Windows生态体系下的重要组成单元。诸多大型企业会通过域控来...
RDS术语
目录是一种分层结构，用于存储同一局域网络上对象的信息。例如，AD存储有关用户账号的信息，例如名称、密码、电话号码等，并允许同一局域网络上的其他授权用户访问此信息。AD是Windows生态体系下的重要组成单元。诸多大型企业会通过域控来...
RDS术语
目录是一种分层结构，用于存储同一局域网络上对象的信息。例如，AD存储有关用户账号的信息，例如名称、密码、电话号码等，并允许同一局域网络上的其他授权用户访问此信息。AD是Windows生态体系下的重要组成单元。诸多大型企业会通过域控来...
如何基于LSM-tree架构实现一写多读
整个数据库分为3层，一层计算服务，一层page server服务和一层日志服务，这样设计的好处是可以分层进行优化，提供更灵活和细粒度的控制。虽然Aurora，PolarDB和Socrates在设计上各有特点，但它们都共同践行了存储计算分离思想，数据库层面...
企业级状态后端存储介绍
GeminiStateBackend的整体架构是在LSM数据结构的基础上设计的，包含了随数据规模和访问特点变化而自适应、数据冷热分层，可以在Anti-caching和Caching架构间灵活切换的三种能力。此外，还具备随机查询友好的哈希存储结构。Nexmark性能对比 ...
RDS术语
目录是一种分层结构，用于存储同一局域网络上对象的信息。例如，AD存储有关用户账号的信息，例如名称、密码、电话号码等，并允许同一局域网络上的其他授权用户访问此信息。AD是Windows生态体系下的重要组成单元。诸多大型企业会通过域控来...
概述
进行业务效果分析时，业务过程有非常典型的应用，例如常用漏斗分析，即将购买商品的业务活动分解为浏览商品、加入购物车、下订单、付款、确认收货等业务过程，统计每个业务过程的“订单数”，将可以针对“订单数”这一指标做漏斗分析。...
RDS术语
目录是一种分层结构，用于存储同一局域网络上对象的信息。例如，AD存储有关用户账号的信息，例如名称、密码、电话号码等，并允许同一局域网络上的其他授权用户访问此信息。AD是Windows生态体系下的重要组成单元。诸多大型企业会通过域控来...
常见问题（FAQ）
系统 Q：什么是开放搜索（OpenSearch）？开放搜索（OpenSearch）是为您量身定制打造的针对结构化数据的云端搜索服务。您可以通过我们提供的平台非常容易的拥有高质量，易扩展，可定制的搜索服务而不用关心搜索的各种技术细节。您所需要做的...
常见问题（FAQ）
系统 Q：什么是开放搜索（OpenSearch）？开放搜索（OpenSearch）是为您量身定制打造的针对结构化数据的云端搜索服务。您可以通过我们提供的平台非常容易的拥有高质量，易扩展，可定制的搜索服务而不用关心搜索的各种技术细节。您所需要做的...
Terraform概述
Terraform是一个开源工具，帮助您在阿里云安全高效地预配和管理云基础结构。什么是Terraform Terraform是一种安全有效地构建、更改和版本控制基础设施的工具（基础架构自动化的编排工具）。它编写了描述云资源拓扑的配置文件中的基础结构，...
维度建模
本实验使用默认分层结构，并且为了规范模型的命名，将同一分层中表名称的命名格式统一，系统为每个数仓分层配置对应的表名“检查器”，开启并设置默认检查器，在进行模型设计时，表名会按照检查器设置自动填充，设计师仅需补充自定义内容...
Terraform概述
什么是Terraform HashiCorp Terraform是一个IT基础架构自动化编排工具，可以用代码来管理维护IT资源。它编写了描述云资源拓扑的配置文件中的基础结构，例如虚拟机、存储账户和网络接口。Terraform的命令行接口（Command Line Interface，...
PolarDB并行查询
在join的表集合中，寻找一个可以做逻辑分片的表做拆分，如果3个表都不足以拆分足够多的分片，那就选最多的表，比如这里选择了t2，它可能拆出12个分片，但仍然无法满足并行度16的要求，导致有4个worker读不到数据而idle。聚集操作先在worker...
Terraform概述
什么是Terraform HashiCorp Terraform是一个IT基础架构自动化编排工具，可以用代码来管理维护IT资源。它编写了描述云资源拓扑的配置文件中的基础结构，例如虚拟机、存储账户和网络接口。Terraform的命令行接口（Command Line Interface，...
数据集常见问题
可在数据集编辑页面，单击 同步表结构，可以将已删除的字段再同步过来。如何将数据集复制到其他工作空间？如果该数据集在个人空间下，不支持复制到其他空间。如果该数据集在群空间下，通过数据集跨空间复制功能进行操作。请参见 跨空间复制...
查看并导出物模型
背景信息 物模型是对设备是什么，能做什么的描述，包括设备的属性（properties）、服务（services）、事件（events）等。阿里IoT通过定义一种物的描述语言来描述物模型，称之为 TSL（即 Thing Specification Language）。更多物模型介绍 ...
功能支持情况
在对延迟不敏感的应用场景，也可以做直播用途。不适用 简单下载 简单下载指的是使用OSS API的GetObject接口，下载已上传的Object，适用于一次HTTP请求交互即可完成下载的场景。支持通过JindoSDK简单下载 断点续传下载 OSS提供了从Object...
数仓分层
可以结合企业的数据使用特点，将明细事实表的某些重要属性字段做适当冗余，也即宽表化处理。在Dataphin中，明细数据层的表通常也被称为事实逻辑表。汇总数据层（DWS，Data Warehouse Summary）：以分析的主题对象作为建模驱动，基于上层的...
数仓分层
可以结合企业的数据使用特点，将明细事实表的某些重要维度属性字段做适当冗余，即宽表化处理。明细粒度事实层的表通常也被称为逻辑事实表。数据应用层ADS（Application Data Service）：存放数据产品个性化的统计指标数据。根据CDM与ODS层...
数仓分层
可以结合企业的数据使用特点，将明细事实表的某些重要维度属性字段做适当冗余，即宽表化处理。明细粒度事实层的表通常也被称为逻辑事实表。数据应用层ADS（Application Data Service）：存放数据产品个性化的统计指标数据。根据CDM与ODS层...
数据模型架构规范
数据处理流程架构 数据划分及命名空间约定 请根据业务划分数据并约定命名，建议针对业务名称结合数据层次约定相关命名的英文缩写，这样可以给后续数据开发过程中，对项目空间、表、字段等命名做为重要参照。按业务划分：命名时按主要的业务...
BizWorks Toolkit常见问题
在 IDE Fatal Errors 对话框的文本输入框中，输入您做何种具体操作的时候发生了异常，完成后单击对话框右下角的 创建BizWorks插件错误报告。项目中存在bizworks.yml文件但却提示需要新建是什么原因？问题原因：请检查您的项目是否存在根...
ALTER TABLE
云原生数据仓库AnalyticDB MySQL版 支持通过 ALTER TABLE 修改表结构，包括修改表名、列名、列类型、普通索引、聚集索引、外键索引、分区函数的格式、冷热分层存储策略。本文介绍 ALTER TABLE 语法。语法 ALTER TABLE table_name { ADD ANN...
消息队列
此类消息您可以直接丢弃，不用做任何处理。消息内容示例：{"eventType":"testEvent"} SyncResult：实时质检单句结果，消息内容示例：{"checkResult":{"rules":[{"highlight":[{"3868":[{"val":"阿里云","pid":0,"from":6,"to":9,"tid":...
消息队列
此类消息您可以直接丢弃，不用做任何处理。消息内容示例：{"eventType":"testEvent"} SyncResult：实时质检单句结果，消息内容示例：{"checkResult":{"rules":[{"highlight":[{"3868":[{"val":"阿里云","pid":0,"from":6,"to":9,"tid":...
X-Engine最佳实践
X-Engine通过将最新写入的数据缓存在内存中并通过高效数据结构进行索引，可以实现极高的性能，而较少访问的历史数据则保存在磁盘，提供稍逊的读写性能。库表数据量特别大。传统InnoDB引擎迁移到X-Engine后，依据数据特征不同，存储空间可...
创建逻辑模型：维度表
可以指定维度表后续在数据建模分析使用时，维度表的数据存储于数仓中的哪个数据分层，一般情况下维度表可存储于公共维度层（DIM层）。维度表创建后，您可以将维度的属性添加为维度表的字段，并对维度表进行关联和分区的设置，使用统一的...
- 产品推荐
- 这些文档可能帮助您