配置数据质量监控
基于用户画像分析加工流程，汇总质量监控规则如下：表名 需求明细 ods_raw_log_d 对每日同步的原始日志数据进行表数据非0监控，避免后续无效加工，及时止损。ods_user_info_d 对每日同步的用户信息数据进行表行数非0校验（强规则）和业务...
配置数据质量监控
基于用户画像分析加工流程，汇总质量监控规则如下：表名 需求明细 ods_raw_log_d 对每日同步的原始日志数据进行表数据非0监控，避免后续无效加工，及时止损。ods_user_info_d 对每日同步的用户信息数据进行表行数非0校验（强规则）和业务...
如何选用数据库类产品
在阿里云电子政务云上数据库类产品类型较多，其中关系型数据库包括：RDS系列、DRDS。NoSQL型数据库包括：Redis、MongoDB。本文为您介绍这几类数据库产品的区别，帮助您根据您的业务现状及需求选用合适的数据库类产品，避免因不熟悉同类产品...
Quick Audience数据集样例
为保证数据顺利快速分析，不同数据表需事先按照特定格式进行数据存储。本章节分别介绍V3的用户标签数据集、RFM模型、AIPL模型、行为数据集、商品标签数据集 的数据表存储样例。用户标签数据集样例 ADS大宽表样例：user_id user_id_2 user_...
什么是Dataphin
Dataphin定价 建议您先提供企业数据建设诉求及背景信息进行咨询，确认Dataphin功能及版本是否符合需求，再进行开通购买。Dataphin支持按月购买的付费模式，关于Dataphin的计费标准请参见 计费说明。联系我们 您在使用Dataphin的过程中有...
表格填报
您可以 添加 和 删除 字段映射行 选择 新建表 您可以新建一张物理表，并自定义填写 表名、表字段名、字段描述、字段类型、主键。您可以 添加 和 删除 字段映射行 写入校验 您可以添加数据校验，保证数据填入的质量。填写校验规则逻辑表达式...
产品架构
其基于数据自动分区+分区多副本+LSM的架构思想，具备全局二级索引、多维检索、动态列、TTL等查询处理能力，支持单表百万亿行规模、高并发、毫秒级响应、跨机房强一致容灾，高效满足业务大规模数据的在线存储与查询需求。面向海量半结构化、...
快速入门
您可以通过Lindorm流引擎的实时计算和分析能力处理轨迹点数据，并结合时空函数，实现多种实时轨迹分析需求，例如电子围栏、区域统计、轨迹生成等。前提条件 已开通Lindorm Ganos时空服务。如何开通，请参见 开通时空服务（免费）。已开通流...
数据中台建设架构咨询服务内容说明
本次项目交付范围如下：业务调研：完成相关业务调研和数据盘点工作，了解客户现状和需求 方案设计：面向不同业务领域提供方案设计，帮助客户规划的数据架构（50张数据表以内）或数据应用架构（50个指标或标签），帮助规划数据应用建设路径...
公告
分析平台新增手工表功能，支持以电子表格的方式在线编辑 我的 手工表数据，并可选择是否将变更内容同步到计算引擎进行保存；支持分析给他人实现灵活协作。更多功能更新信息，请参见 功能更新记录。2023年11月21日-Dataphin新版本发布 ...
如何创建特定时间段分析
在 如何进行时间段分析 中，我们学会了如何按各小时分析数据，现在遇到这样的需求：将一天的时间分为0-6、7-12、13-19和20-23这样的时间段分析销售额分布比例，具体操作如下：数据准备 以company_sales_record表为例，创建数据集。...
通过控制台使用宽表模型
对于已有数据表，通过执行CREATE TABLE一键自动建立映射关系后，您可以使用SQL方式访问表中数据。在 概览 页面，单击实例名称或在 操作 列单击 实例管理。在 SQL查询 页签，创建映射关系。单击 图标。说明 当不存在映射表时，单击 SQL查询 ...
数据集组合
当您的多个数据表关联性较灵活，比如在不同场景下需要用到不同的数据表进行关联分析时，建议您针对单张数据表分别创建数据集，并在仪表板中使用数据集组合能力，您可以根据需求灵活地调整关联数据集的数量和关联关系的配置。案例：左表 右...
概述
维度表、明细表、汇总表的创建操作请参见 创建逻辑模型：维度表、创建逻辑模型：明细表、创建逻辑模型：汇总表。逆向建模操作，详情请参见 逆向建模：物理表反向建模。数据指标 DataWorks的数据建模提供数据指标功能，为您提供统一的指标...
购买及启用合规CA
PCA用途 默认已选择 企业合规使用（有监管需求），表示适用于密码应用安全性评估或者要求满足电子认证服务相关要求的场景，例如，银企直连、电子签名等。商品规格 默认已选择 创建子CA。证书算法 选择通过合规CA签发证书时所使用的加密算法...
创建Hologres内部表
说明 表的业务信息，仅是基于业务需求方便管理表使用，不涉及底层逻辑的实现。参数 描述 主题 表所属的一级文件夹与二级文件夹。您可基于业务用途对表进行归类，将同类表挂载至相同文件夹中。说明 一级主题、二级主题仅为DataWorks上文件夹...
使用ETL分析实时订单
说明 时态表，也称动态表，是指基于表的（参数化）视图概念，根据时间记录数据变更历史，分为版本表（可显示数据的历史版本）和普通表（仅显示数据的最新版本）。时态JOIN要求流表定义时间属性，右表要有主键；如右表是维表，则您所设置的 ...
如何设计时序数据表
时序数据表可以为您提高查询和存储性能，本文介绍如何根据时序数据的来源和场景建立时序数据表。时序数据示例 时序数据建模至关重要，需要仔细分析数据来源的特性和查询的场景，建立合理的数据表，以便达到最佳的存储和查询性能。以下图的...
背景
了解表格存储表设计最佳实践的背景。选择使用表格存储后，根据实际业务场景，选择直接使用表格存储提供的数据模型或者根据最佳实践进行表设计。为什么选择表格存储 如上图所示，表格存储提供了丰富、通用的功能，并具有如下优势：零运维，...
确定需求
您在构建数据仓库之前，首先需要确定构建数据仓库的目标与需求，并进行全面的业务调研。您需要了解真实的业务需求，以及确定数据仓库要解决的问题。业务调研 充分的业务调研和需求分析是数据仓库建设的基石，直接决定数据仓库能否建设成功...
确定需求
您在构建数据仓库之前，首先需要确定构建数据仓库的目标与需求，并进行全面的业务调研。您需要了解真实的业务需求，以及确定数据仓库要解决的问题。业务调研 充分的业务调研和需求分析是数据仓库建设的基石，直接决定数据仓库能否建设成功...
多可用区部署
需要为表建立二级索引。说明 强一致模式下，Lindorm无法通过读取多副本的方式来减少抖动和毛刺，如果主可用区出现故障，备可用区需要一定的时间恢复才能切换为主可用区。如何设置表一致性 说明 由于HBase API和HBase Shell不支持一致性概念...
优化MaxCompute外部表的查询性能
导入数据至Hologres进行加速查询 当需要大量分析计算外部表数据并建立与内部表的连接时，您可以在Hologres中新建内部表并导入外部表数据。根据业务需求，为内部表指定合适的Distribute Key索引属性，加快查询速度。导入外部表数据相比新建...
表分区
PolarDB支持基本的表划分。本节介绍为何以及怎样把划分实现为数据库设计的一部分。简介 划分指的是将逻辑上的一个大表分成一些小的物理上的片。划分有很多益处：在某些情况下查询性能能够显著提升，特别是当那些访问压力大的行在一个分区...
PolarDB MySQL版间的同步
如同步对象为表级别，且需进行编辑（如表列名映射），则单次同步任务仅支持同步至多1000张表。当超出数量限制，任务提交后会显示请求报错，此时建议您拆分待同步的表，分批配置多个任务，或者配置整库的同步任务。如需进行增量同步，需开启...
逆向建模：物理表反向建模
当您的物理引擎中已有大量物理表，且希望通过DataWorks智能数据建模产品统一管理所有模型，则可使用逆向建模功能，将已有物理表反向建模至DataWorks的维度建模中。该功能帮助您无需再次执行建模操作即可快速创建模型，节省了大量的时间成本...
如何确定分区个数
说明 对于业务上有连接需求的表，创建分区表时可以采用相同的分区结构，以方便做连接。规划表结构时，需考虑业务增长场景下对分区表的要求。您可以通过以下命令来查看分区表中每个分区下大约有多少数据量：select*from mysql.innodb_table_...
数仓分层
汇总数据层（DWS，Data Warehouse Summary）：以分析的主题对象作为建模驱动，基于上层的应用和产品的指标需求，构建公共粒度的汇总指标表。以宽表化手段物理化模型，构建命名规范、口径一致的统计指标，为上层提供公共指标，建立汇总宽表...
表设计最佳实践
本文为您介绍表设计的最佳实践方式，为实际开发提供指导和依据。产生大量小文件的操作 MaxCompute表的小文件会影响存储和计算性能。在进行表设计时，应考虑避开产生大量小文件的操作。会产生大量小文件的操作如下：使用MaxCompute Tunnel ...
全增量实时同步至Hologres
步骤四：目标表映射 在上一步骤选择完需要同步的表后，将自动在此界面展示当前待同步的表，但目标表的相关属性默认为待映射状态，需要您定义并确认源表与目标表映射关系，即数据的读取与写入关系，然后单击 刷新映射 后才可进入下一步操作...
工商财税的审计事件
操作审计支持将管控事件投递到日志服务SLS的LogStore或对象存储OSS的存储空间中，满足实时审计、问题回溯分析等需求。操作审计记录了用户通过OpenAPI或控制台等方式操作云资源时产生的管控事件，工商财税支持在操作审计中查询的事件如下表...
新建基线监控
基线一旦建立后，会按照调度依赖关系自动识别圈定需要被纳入监控范围的任务，并按照设定的预警时间和承诺时间，在被保障对象数据可能延迟产出的情况下发送基线告警。基线范围内的任务可设置更高优先级以优先分配资源。本文为您介绍如何进行...
新建基线监控
基线一旦建立后，会按照调度依赖关系自动识别圈定需要被纳入监控范围的任务，并按照设定的预警时间和承诺时间，在被保障对象数据可能延迟产出的情况下发送基线告警。基线范围内的任务可设置更高优先级以优先分配资源。本文为您介绍如何进行...
Table Group设置最佳实践
表的相关性 业务上有一系列具有独特写入或者查询模式的表，且这一系列表之间具有（或未来具有）Local Join的需求（Local Join需要左右表同在一个Table Group才能实现，并且Join Key是各自的分布列），同时这些表和其他Table Group的表具有...
表管理
DataWorks的表管理模块，可按照表所属主题、表所在引擎维度展示表，并通过引擎类型、表所在环境、表名称等信息进行过滤，快速查找目标表并编辑表信息。同时，也可新建表并导入表数据。本文为您介绍表管理的相关功能。前提条件 已定义表主题...
一键实时同步至MaxCompute
单击 刷新源表和MaxCompute表映射 将根据您在步骤三配置的目标表名映射规则来生成目标表，若步骤三未配置映射规则，将默认写入与源表同名的目标表，若目标端不存在该同名表，将默认新建。同时，您可以修改表建立方式，为目标表在源有表字段...
一键实时同步至MaxCompute
单击 刷新源表和MaxCompute表映射 将根据您在步骤三配置的目标表名映射规则来生成目标表，若步骤三未配置映射规则，将默认写入与源表同名的目标表，若目标端不存在该同名表，将默认新建。同时，您可以修改表建立方式，为目标表在源有表字段...
数仓分层
公共汇总粒度事实层（DWS）：以分析的主题对象作为建模驱动，基于上层的应用和产品的指标需求，构建公共粒度的汇总指标事实表，以宽表化手段物理化模型。构建命名规范、口径一致的统计指标，为上层提供公共指标，建立汇总宽表。公共汇总...
数仓分层
公共汇总粒度事实层（DWS）：以分析的主题对象作为建模驱动，基于上层的应用和产品的指标需求，构建公共粒度的汇总指标事实表，以宽表化手段物理化模型。构建命名规范、口径一致的统计指标，为上层提供公共指标，建立汇总宽表、明细事实表...
开启敏捷需求管理
支持通过自定义视图建立需求分类。详细视图介绍请参见：视图管理。将事项「关联」起来「关联」是云效的一个核心能力，你可以将与该需求相关的一切关联到这里。围绕需求产生的设计文件、产品文档、测试用例、缺陷都可以直接关联到需求中，...
- 产品推荐
- 这些文档可能帮助您