通过任务编排实现跨库数据同步
在AnalyticDB MySQL数据仓库中新建用于同步数据的订单表t_order、商品表t_product和用于存放数据分析结果的统计表t_order_report_daily。说明 订单表t_order、商品表t_product和统计表t_order_report_daily的建表SQL语句，请参见 步骤4。...
统计表
配置统计表结构，用于导入统计表数据。统计表记录用户执行相关操作的统计数据。基于统计表数据，可以进行 人群筛选。前提条件 已在您配置的 计算源 中存储统计表，数据格式请参考 统计表数据要求。确保您的统计表中的所有用户ID类型均已在...
创建并管理维表
创建维表 数据分析概述。在数据分析页面的左侧菜单栏，单击 图标进入 维表 页面。在 维表 页面，单击 新建维表 下的 图标。在 新建维表 对话框中，配置各项参数。参数 描述 目标工作空间 请选择维表对应的MaxCompute资源所属的DataWorks...
管理预置指标表
预置指标是物联网数据服务平台默认描述设备情况的维度，预置指标表是一组预置指标的集合，指标数据默认是关闭统计的。您可开启预置指标表统计预置指标数据，并将预置指标表实例化为数据API，用于获取统计的指标数据。本文介绍如何查看预置...
功能发布记录（2023年）
2023.06.01 所有地域 所有DataWorks用户 MySQL数据源 2023-04 功能名称 功能描述 发布时间 发布地域 使用客户 相关文档 数据分析结果直接保存为MaxCompute表 数据分析结果无需通过代码创建表，可以直接保存为MaxCompute表，进行后续查询或...
实例画像
数据库自治服务DAS（Database Autonomy Service）提供实例画像功能，基于数据库实例的运行特征表现，通过AI大数据分析构建的一种“千人千面”画像服务。实例画像可以帮助您直观地了解数据库实例全貌，快速确认数据库实例是否存在异常与缺陷...
实例画像
数据库自治服务DAS（Database Autonomy Service）提供实例画像功能，基于数据库实例的运行特征表现，通过AI大数据分析构建的一种“千人千面”画像服务。实例画像可以帮助您直观地了解数据库实例全貌，快速确认数据库实例是否存在异常与缺陷...
导入数据
使用场景 表数据迁移 表数据备份 表数据分析 前提条件 数据库类型如下：数据库类型 关系型数据库 MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB分布式版、AnalyticDB MySQL版、其他来源MySQL。SQL Server：RDS SQL Server、...
实例画像
数据库自治服务DAS（Database Autonomy Service）提供实例画像功能，基于数据库实例的运行特征表现，通过AI大数据分析构建的一种“千人千面”画像服务。实例画像可以帮助您直观地了解数据库实例全貌，快速确认数据库实例是否存在异常与缺陷...
宽表模型介绍
使用宽表模型可以实现元数据、大数据等多种场景的解决方案，例如 搭建海量智能元数据管理系统、亿量级订单管理方案、基于多元索引搭建亿量级店铺搜索系统、表格存储结合Spark流批处理实现一体化存储和计算、表格存储结合实时计算Flink进行...
Quick BI连接MaxCompute
MaxCompute支持您将MaxCompute项目数据接入阿里云Quick BI，对海量数据进行实时在线分析...可视化分析数据 参照查看表数据流程自定义SQL创建数据表后，即可根据实际业务诉求创建仪表板并配置参数属性开展数据分析，详情请参见 数据分析概述。
多元索引介绍
如果要分析表中数据，您可以使用统计聚合功能实现求最小值、求最大值、求和、求平均值、统计行数、去重统计行数、百分位统计、按字段值分组、按范围分组、按地理位置分组、按过滤条件分组、直方图统计、日期直方图统计等数据分析功能。...
发现
包括数据指标数、总数据表总量、总数据存储量、数据服务接口数和各趋势分析图。数据指标数趋势分析：展示已公开的资产过去7天、过去30天、过去90天及自定义时间范围内的指标趋势图。运营分析：展示已公开的资产，对全租户下已公开到资产...
通用数据查询与管理
如果需要快速地查找数据，例如查找工作空间、数据源中的表、数据分析和数据服务中的代码或API，您可以在数据地图中进行查找。进入数据地图 登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据治理>数据地图，在右侧页面中单击...
基础统计分析
一、基础统计分析 选择任务类型：基础统计分析，选择相应的用户数据表，填写任务名称。分区字段：选择相应的ds字段，分区字段显示有两种形式 yyyymmdd 与 yyyy-mm-dd，可下拉选择显示的样式。Tag字段：可选择需要分析到的字段（例如：city...
趋势分析表
趋势分析表由趋势分析图和趋势分析明细表组成，您可以通过趋势分析图查看指标的宏观趋势，然后通过趋势分析表查看指标详情，帮助您更好的分析决策。本文为您介绍如何为趋势分析表添加数据...对比指标 您可以同时选中多个指标，进行数据分析。
多维分析表
多维分析表是一种更复杂且灵活的数据分析方式，它可以从多个维度对数据进行切片，以便从不同角度深入洞察数据间的关联。本文为您介绍如何为多维分析表添加数据并配置样式。前提条件 已完成数据建模，数据集必须包含日期字段，且日期字段为...
创建逻辑模型：明细表
明细表创建配置完成后，可发布物化至计算引擎，后续在计算引擎中使用明细表进行数据分析。创建明细表 进入智能数据建模页面。登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据建模，在下拉框中选择对应工作空间后单击 进入数据...
迁移说明
增加支持统计表，用于分析用户执行相关操作的统计数据。数据表支持冗余更多属性，便于后续的分析圈选。用户行为表冗余更多属性可规避旧版出现的行数膨胀问题。所有类型的数据均支持小时级自动更新。所有的数据输入配置均由管理员在这一阶段...
用户偏好统计周期分析
一、用户偏好统计周期分析 选择任务类型：用户偏好统计周期分析，选择相应的行为数据表，填写任务名称。分区字段：选择相应的ds字段，分区字段显示有两种形式 yyyymmdd 与 yyyy-mm-dd，可下拉选择显示的样式。用户ID字段：选择能唯一区分...
库表结构优化
库表结构优化功能的调优建议是根据用户数据和查询特征的历史数据分析得到的。当用户数据和查询特征稳定，则相关建议的有效性可持续；当用户数据和查询特征发生剧烈变化，则由历史数据分析得到的调优建议的参考价值明显下降。在使用该功能前...
统计信息
执行逻辑 在每次导入事务提交后，SelectDB 将记录本次导入事务更新的表行数用以估算当前已有表的统计数据的健康度（对于没有收集过统计数据的表，其健康度为0）。当表的健康度低于60（可通过参数 table_stats_health_threshold 调节）时，...
慢日志
数据库自治服务DAS（Database Autonomy Service）支持慢日志分析功能，会统计并分析数据库中执行时间超过阈值的请求，帮助您快速定位并解决数据库性能问题，提高系统的稳定性和可靠性。前提条件 目标数据库实例为云数据库MongoDB副本集实例...
慢日志
数据库自治服务DAS（Database Autonomy Service）支持慢日志分析功能，会统计并分析数据库中执行时间超过阈值的SQL语句，帮助您快速定位并解决数据库性能问题，提高系统的稳定性和可靠性。背景信息 慢日志由数据库内核输出，不同数据库引擎...
API概览
GetTableProfile 获取表数据概况 获取表数据概况的详细信息。RenameTable 更新元数据表的名称 仅用于更新数据湖元数据表的名称。BatchGetTables 批量获取元数据表详情 批量获取某个数据湖元数据表的详细信息。BatchCreateTables 批量新增...
MaxCompute后付费消费突增排查
然后把各个MaxCompute项目的元数据的备份数据插入到同一个表中做集中统计分析。建议您使用租户级别Information Schema服务，便于查询当前用户所有项目的元数据信息以及使用历史信息。更多信息请参见 租户级别Information Schema。（可选）...
构建模型
在数据分析时，当需要分析的数据存储在不同的表，您可以通过数据关联，把多个表连接起来，形成模型进行数据分析。前提条件 您已创建数据集，请参见 创建并管理数据集。背景信息 Quick BI支持左外连接（LEFT JOIN）、内连接（INNER JOIN）、...
SQL查询
数据源白名单访问控制 当使用数据分析操作MaxCompute表数据时，如果MaxCompute项目空间开启了白名单访问控制，数据分析的相关服务（例如，费用计算、数据下载、维表使用、数据上传等）可能会出现报错。为保证DataWorks数据分析服务能顺利...
概览信息
对数据资产的全局及增量数据进行统计和展示。本文介绍如何查看及搜索数据资产。前提条件 已在运营模块中公开数据表、API和指标等数据资产。背景信息 在运营公开一条数据，资产首页刷新数量实时+1。在运营隐藏一条数据，资产首页刷新数量...
概览信息
对数据资产的全局及增量数据进行统计和展示。本文介绍如何查看及搜索数据资产。前提条件 已在运营模块中公开数据表、API和指标等数据资产。背景信息 在运营公开一条数据，资产首页刷新数量实时+1。在运营隐藏一条数据，资产首页刷新数量...
两表关联分析
根据表中某个分析字段，统计未关联、已关联的数据分布、维度分析。常用于检查行为数据的可用性、id唯一性，特征是否可用等。重要 业务时间，是对落盘到对应日期分区内的数据，而非统计某一天操作写入的数据。周期运行选择 是 时，会对用户...
配置同步任务中的数据来源和去向
成功将数据导入分析型数据库MySQL版后，您就可以使用分析型数据库MySQL版进行数据分析。进入 DataWorks控制台，单击对应项目操作栏中的 数据开发。单击左侧菜单栏中的 数据开发，右键单击 业务流程 新建一个流程。右键单击 步骤2 中新建的...
功能特性
逻辑数仓 逻辑数仓SQL语法介绍 数据分析 数据分析提供典型的数据集、仪表盘和大屏模型，在仪表盘或大屏中提供丰富的可视化图表和组件来展示数据。您可以将数据库中的表或单条SQL查询结果作为数据集，在仪表盘或大屏中对数据集中的数据以...
DataWorks on EMR Serverless StarRocks最佳实践
数据分析 您可以使用DataWorks的数据分析子模块，对EMR Serverless StarRocks表数据进行快速分析，操作要点如下。进入SQL查询页面。登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据分析>SQL查询，在下拉框中选择对应工作...
RestAPI Reader最佳实践
说明 分区表配合覆盖写命令，可以实现分区覆盖写的效果，让数据同步任务具备可重跑性，重跑时数据不会重复，并且在进一步做数据分析时，分区表也更易于数据分析。建表语句如下。CREATE TABLE IF NOT EXISTS ods_xiaobo_rest2(`axis` STRING...
自助分析数据集
管理员、自助分析-开发者新建自助分析数据集，圈定自助分析的数据范围，并将人群表中的用户QAID字段与数据表中的用户QAID字段形成表间关联，以便在分析中获取人群中用户的数据。下面的新建自助分析数据集操作中，仅介绍保证自助分析功能...
数据总览
为实时统计的数据 总表数 为当前租户本地域下，所有MaxCompute表总个数。此数据为离线统计，有T+1的延迟。存储量 为当前租户本地域下，所有表的逻辑存储大小总和，包含调度任务的临时文件、删除表后尚未释放的存储空间。此数据为离线统计，...
数据分析概述
如果使用维表功能，运营人员只需要在数据分析创建一张维表，可视化地修改数据并保存，即可自动同步数据至MaxCompute生产表，提高工作效率。权限说明 2022年6月1日起，DataWorks仅支持拥有 数据分析师 角色权限的用户使用数据分析产品。如果...
表设计最佳实践
MaxCompute表数据更新与删除操作 MaxCompute实现关系型数据库所支持的Delete、Update、Merge SQL的示例如下：准备表/上日全量表。table1(key1 STRING,key2 STRING,col1 STRING,col2 STRING);今日增量表。table2(key1 STRING,key2 STRING,...
表设计规范
表数据存储规范 按数据层规划数据的生命周期：源表ODS层：每天从业务系统同步过来的数据，全部保留，生命周期定义永久保存。当下游数据受损时，可以从ODS恢复数据。若ODS每天同步过来的是全量表，则可以通过全表拉链的方式来压缩存储。数据...
- 产品推荐
- 这些文档可能帮助您