数据地图概述
数据地图是在元数据基础上提供的企业数据目录管理模块，涵盖全局数据检索、元数据详情查看、数据预览、数据血缘和数据类目管理等功能。数据地图可以帮助您更好地查找、理解和使用数据。元数据采集与接入 MaxCompute数据 如果您使用了...
概述
AnalyticDB PostgreSQL版 向量分析可以通过AI算法提取非结构化数据的特征，并利用特征向量作为非结构化数据的唯一标识，帮您快速且低成本地实现对非结构化数据检索和对结构化数据关联分析。向量数据库简介 在现实世界中，绝大多数的数据都...
添加宜搭数据源
宜搭是阿里巴巴自研的低代码应用构建平台，您可以通过可视化拖拽的方式，快速完成数据应用的搭建。本文为您介绍在DataV中添加和使用宜搭数据源的方法，以及相关参数配置说明。前提条件 已通过钉钉登录 宜搭控制台 创建一个宜搭应用数据表单...
冷热分层
背景信息 在海量大数据场景下，随着业务和数据量的不断增长，性能和成本的权衡成为大数据系统设计面临的关键挑战。Delta Lake是新型数据湖方案，推出了数据流入、数据组织管理、数据查询和数据流出等特性，同时提供了数据的ACID和CRUD操作...
查看指标大盘
您可以在该页签右上角，选择数据指标统计方式，支持以下两种统计方式：按样本统计：数据集中每一条数据代表一个样本，该条数据做单选打标或多选打标时，统计标注量均为1。按操作单元统计：数据集中每一条数据可以有多个题目，当对该条数据...
CDH Hive数据抽样采集器
选择集群后，如果不选择数据库，默认对所有数据库下的表进行数据抽样。阿里云主账号，拥有 AliyunDataWorksFullAccess 权限的子账号可以进行采集。CDH Hive新增、变更、删除表后需要重新进行数据抽样采集。目前仅支持手动采集。新建采集器 ...
入门实践
展开该模型，并双击 主题域 下的 Main，查看该数据模型的ER关系图。提交数据模型。在左侧的 物理模型 区域，选中 sakila_MaxCompute_demo 中的所有表。在主题域的ER关系图页面，单击 图标。在 模型提交 对话框中，根据向导配置各项参数。在...
可视化弹性成本分析
说明 仅支持按量付费（抢占式实例）Task节点组，且仅在有账单数据的情况下可以进行筛选。时间范围 选择大盘时间范围，默认为最近7天。您可以设置该项查看不同时间范围的成本、资源趋势。节点昨日花费 弹性成本费用统计，这些花费为本集群的...
OceanBase 数据库之间的数据迁移
背景信息 您可以在数据传输控制台创建从 OceanBase 数据库迁移数据至 OceanBase 数据库同类型租户的数据迁移项目，通过结构迁移、全量迁移和增量同步，无缝迁移源端数据库中的存量业务数据和增量数据至目标端数据库。前提条件 数据传输已...
创建MaxCompute数据源
进行数据同步：DataWorks的数据集成模块为您提供读取和写入数据至MaxCompute的能力，您可将其他数据源的数据同步至当前MaxCompute数据源，或将当前MaxCompute数据源的数据同步至其他数据源。同时，可根据需要选择离线同步、实时同步、同步...
迁移 OceanBase 数据库 MySQL 租户的数据至 MySQL ...
如果您选择了 增量同步，且 DML 同步 选项中未选择所有的 DML，则数据传输不支持本场景下的全量数据校验。反向增量 反向增量任务开始后，可以实时将业务切换后在目标端数据库产生的变更数据回流至源端数据库。通常反向增量会复用增量同步的...
发现并处理大Key和热Key
这极大地提高了HASH数据类型的灵活性，简化了很多场景下的业务开发工作。同时，TairHash使用高效的Active Expire算法，实现了在对响应时间几乎无影响的前提下，高效完成对field过期判断和删除的功能。此类高级功能的合理使用能够解放大量...
迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL ...
如果您选择了 增量同步，且 DML 同步 选项中未选择所有的 DML，则数据传输不支持本场景下的全量数据校验。反向增量 反向增量任务开始后，可以实时将业务切换后在目标端数据库产生的变更数据回流至源端数据库。通常反向增量会复用增量同步的...
时序异常检测
例如新插入的时序数据有一个非常大的尖刺，检测结果可能为异常。时序异常检测搭配 SAMPLE BY 语句可以实现以下功能：搭配 SAMPLE BY 0 子句，针对每条时间线上的数据逐点检测。使用示例，请参见 示例一、示例二 和 示例三。在 SAMPLE BY ...
数据服务系统配置
运维监控统计数据可帮助您查看最近某段时间的API运维数据，以便您更好的调整API，合理优化资源。本文为您介绍如何自定义运维监控配置。权限说明 超级管理员支持修改系统配置。数据服务系统配置入口 在Dataphin首页，单击顶部菜单栏 服务。...
Query级别诊断结果
您可以在 AnalyticDB MySQL版 SQL诊断的Stage层或算子层执行计划中的 统计信息 区域查看对应Stage 扫描行数、扫描量，或TableScan算子的 输入行数 和 输入大小 来判断Stage和TableScan算子的扫描数据量。更多详情，请参见 Stage统计信息 和...
数据膨胀、倾斜与索引统计
AnalyticDB PostgreSQL版 诊断与优化功能新增了关键指标页，用于查看数据膨胀、数据倾斜和索引使用统计信息。前提条件 实例资源类型为存储弹性模式，且内核版本为V6.3.10.1及以上版本。如何查看和升级内核小版本，请参见 查看内核小版本 和...
数据库高级特性管理
使用场景 当数据库进行大版本升级时，新版本可能会引入新的数据类型、存储引擎或查询优化器等，这可能会导致旧的统计信息不再准确或不再适用。此时，您可以通过该功能来更新数据分布信息，以适应新版本引擎。当将数据库从线下转移到云端时...
客户案例
MaxCompute已被广泛应用于各大领域处理云上大数据，帮助众多企业解决了海量数据分析问题，同时降低企业运维成本，企业人员可更专注于业务开发。本文为您介绍MaxCompute的精选客户案例。MaxCompute的全量客户案例信息，请参见 行业客户案例...
使用执行计划分析查询
诊断结果 单击执行计划树中某个Stage（如 Stage[1]），即可在右侧查看对应Stage的 诊断结果 详情，包括如下两类诊断：Stage诊断：这类诊断结果包含了对目标Stage诊断结果的详细说明，包括诊断出的问题（如存在较大的数据量被广播或数据倾斜...
性能调优
由于统计信息功能是在集群内核版本为3.1.6及以上版本的 AnalyticDB MySQL 数仓版（3.0）集群才默认开启的，所以当集群内核版本从3.1.6以下版本升级到3.1.6及以上版本时，会触发一次全量数据的统计信息收集，导致集群内核版本完成升级后的...
时空引擎版本发布记录
修复栅格对部分数据统计时失败的问题。4.4 新特性 ST_LinearStretch：将影像进行线性拉伸，作为一个新的raster返回。ST_BuildPercentiles：统计影像的像素值百分比。ST_ComputeStatistics：一次性计算栅格数据的统计值，直方图以及百分比。...
全景视角
背景信息 为提高不同使用场景下的数据治理效率和质量，DataWorks为您提供以下视角：数据管理视角：在数据资产管理、数据安全加固、数据权限管理等数据管理场景下，建议您使用数据管理视角，关注查看数据管理过程中，表的统计数据、安全权限...
时空数据库版本发布记录
本文介绍PolarDB PostgreSQL版时空数据库（Ganos）的版本更新说明。6.X 6.3 类别 说明 新增特性 Trajectory SQL 新增 ST_InsertAttr 函数，支持为轨迹增加新的属性。GeomGrid SQL 新增 ST_Degeneralize 函数，支持将低层级网格分解成高层级...
时空数据库版本发布记录
本文介绍PolarDB PostgreSQL版（兼容Oracle）时空数据库（Ganos）的版本更新说明。6.X 6.3 类别 说明 新增特性 Trajectory SQL 新增 ST_InsertAttr 函数，支持为轨迹增加新的属性。GeomGrid SQL 新增 ST_Degeneralize 函数，支持将低层级...
存储成本优化
如果小时调度的统计任务也按天分区，数据每小时追加，则每小时将多读取大量的无用数据，增加不必要的费用。您可以根据实际的业务情况选择分区字段，除了日期和时间，也可以使用其他的枚举值个数相对固定的字段，例如渠道、国家和省份地市。...
管理健康报告
本文介绍E-MapReduce Serverless StarRocks提供的健康报告内容，并通过示例阐明其潜在的应用场景...导入热节点分析 可以通过对各节点的统计数据进行导入，来分析数据的均衡度。例如，您可以从 写入总大小 指标分析各个broker的写入是否均衡。
数据表-数据概况
功能说明 在数据表详情的数据概况标签页，基于对元数据及存储数据的统计，为您提供了数据表更加详细的指标信息，比如表存储大小、表文件总数、DDL最后更新时间、数据最后更新时间、访问次数、分区存储大小，分区文件数，分区最后更新时间等...
统计信息
手动收集统计信息 收集全表统计信息 ANALYZE TABLE 命令会扫描全表来收集统计信息，对于数据量大的表，全表收集统计信息需消耗更多的时间，建议在业务低峰期执行或采样收集统计信息。语法 ANALYZE TABLE[schema_name.]table_name[UPDATE...
2020年
修复用默认参数构建矢量金字塔点数据后，顶级瓦片数据量过大的问题。2020年9月 内核小版本（V1.1.4）类别 名称 描述 相关文档 新增 GROUP_ID函数 新增GROUP_ID()函数。GROUP_ID 分区表 支持在分区表上并发创建索引CREATE INDEX ...
查看调度资源大盘
数据统计范围 关于调度资源大盘的数据统计频率和数据统计范围说明如下：数据统计频率：每分钟统计1次。针对分配资源，取当前时间点的快照值；针对消耗资源，取过去1分钟内的峰值（即分钟内峰值）。每次页面刷新触发页面数据更新。数据统计...
大数据安全治理的难点
存储 众所周知，大数据系统以数据类型多（结构化、非结构化、半结构化）、数据量大（动辄PB级别）著称，某些巨头组织一天就能新增数十万甚至数百万张表，如此体量给数据分级分类带来了极大挑战，通过人工进行数据分级分类显然是不现实的，...
东软案例
目前，东软在物联网、互联网等新场景下面临的IT系统运维主要问题与挑战有：多模型数据融合分析困难，面向海量数据采集终端同时写入数据的并发能力弱，数据量大且价值密度低导致存储成本高，基于开源软件自建数据存储集群稳定性低运维成本...
数据分析整体趋势
近些年来，随着业务数据量的增多，企业需要能够对数据进行分析，助力商业决策，更好地发挥数据价值，而传统开源及商业关系型数据库通常为单机版，在海量数据分析场景下扩展能力有限，性能无法满足需求。以Teradata，Oracle Exadata为代表的...
统计信息
执行逻辑 在每次导入事务提交后，SelectDB 将记录本次导入事务更新的表行数用以估算当前已有表的统计数据的健康度（对于没有收集过统计数据的表，其健康度为0）。当表的健康度低于60（可通过参数 table_stats_health_threshold 调节）时，...
查看账单详情
单击 明细账单 页签，进入明细账单页面，您可以勾选 统计项 和 统计周期，并单击产品右侧的过滤器图标选择 大数据开发治理平台 DataWorks，查看DataWorks账单汇总信息。账单明细说明 DataWorks包括按量付费和包年包月两种计费方式：类别 ...
OSS Foreign Table使用技巧
收集统计信息 OSS Foreign Table的数据实际存储在OSS上，AnalyticDB PostgreSQL版 默认不会自动收集数据的统计信息。在复杂场景下的查询SQL（例如多张表关联操作），如果不存在统计信息或统计信息过时，优化器可能会生成低效的查询计划。...
索引优化
在大部分传统的TP型数据库中，索引可以极大的提高数据的访问效率。但是在类似与 AnalyticDB PostgreSQL版 这样的分布式数据库中，应该谨慎的选择索引的使用。在大部分场景下，AnalyticDB PostgreSQL版 更适合快速的顺序扫描，或者结合稀疏...
管理数据看板
进入恢复模式 重要 当您编写的过滤器有问题（例如死循环导致的看板卡顿）、数据源配置有问题（例如返回的数据量过大导致的看板卡顿）或自定义组件有逻辑问题等其他原因导致数据看板无法编辑时，使用恢复模式进入，可以删除掉带来问题的内容...
可观测性能力
同时，云原生内存数据库Tair 还基于三大数据支柱进行信息聚合，提供数据分析能力，下表为 云原生内存数据库Tair、云数据库Redis与原生Redis的可观测性能力对比。为便于浏览和内容表达，表格约定使用下述注释：✔️表示支持。❌表示不支持。...
- 产品推荐
- 这些文档可能帮助您