散点图（v3.0以下版本）
散点图是使用散点来展示数据的一种图表，支持自定义x轴、y轴以及散点的样式，支持多系列数据配置，支持提示框交互和动画效果展示，适用于展示不同时间下离散数据的差异。本文介绍散点图各配置项的含义。配置 重要 本文介绍v3.0以下版本的...
结构初始化涉及的数据类型映射关系
不同类型的数据库（异构数据库）支持的数据类型不一样，DTS在进行异构数据库之间的数据同步时，会在结构初始化阶段进行数据类型映射，即将源库中的数据类型转为目标库支持的数据类型。本文为您列出详细数据类型映射关系，便于您查阅和评估...
创建数据流
在数据管理DMS离线集成中，可以组合各类任务节点，形成数据流，通过周期调度运行达到数据加工、数据同步的目的。本文介绍创建数据流和配置的方法。前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB...
概览
集群管理系统的概览页面提供了 云原生多模数据库 Lindorm 实例宽表引擎中所有表的详细信息，包括表的大小、分片情况、数据预览、表结构、限流信息等。本文介绍如何通过集群管理系统管理宽表。前提条件 已登录目标实例的集群管理系统，具体...
管理数据
企业管理员使用数据域可以基于业务属性、组织架构、数据特征等维度对数据资产进行分类管理。通过将拥有共同属性的数据资产集中到同一个数据域中，管理员可以高效管理数据资产及资产中的敏感数据。本文介绍首次使用数据域功能的具体操作。...
产品系列
数仓版（3.0）弹性模式和预留模式的区别是什么？存储计费模式不同：预留模式下，需要在创建集群时指定所需的存储空间（例如1 TB），在集群运行期间按照指定的存储空间计费。弹性模式下，创建集群时无需指定存储空间，集群运行期间按照实际...
异构数据库间的数据类型映射关系
不同类型的数据库（异构数据库）支持的数据类型不一样，DTS在进行异构数据库之间的数据迁移时，会在结构迁移阶段进行数据类型映射，即将源库中的数据类型转为目标库支持的数据类型。本文为您列出详细数据类型映射关系，便于您查阅和评估...
新建数据元
数据元管理通过分析业务流程，抽象关键业务对象和业务对象属性，并把关键业务对象新建为数据元，并配置数据元的类型、长度、质量校验函数和引用数据字典，为模型标准化设计及数据治理过程中的质量监控提供规则依据。本文介绍如何新建数据元...
新建数据元
数据元管理通过分析业务流程，抽象关键业务对象和业务对象属性，并把关键业务对象新建为数据元，并配置数据元的类型、长度、质量校验函数和引用数据字典，为模型标准化设计及数据治理过程中的质量监控提供规则依据。本文介绍如何新建数据元...
监控报警
您可以设置最大数据量（MB），达到或超过这个阈值会触发报警。Tunnel当前并发数（Slot）_项目级别 以项目为单位，选定的项目当前使用的并发数（Slot），达到或超过这个阈值会触发报警。Tunnel当前并发数（Slot）_租户级别 以租户为单位，...
配置数据校验
每秒读取的最大数据行数rps 全量数据校验会占用数据库一定的读取资源，您可以根据实际情况对全量校验任务进行限速设置（每秒读取的数据行数和数据量），以缓解数据库的压力。说明 参数值为0时表示无限制，当 每秒读取的最大数据行数rps 和 ...
同步LogHub数据至HDFS
本文介绍如何使用E-MapReduce（简称EMR）的Flume实时同步日志服务（LogHub）的数据至E-MapReduce集群的HDFS，并根据数据记录的时间戳将数据存入HDFS相应的分区中。背景信息 您可以借助日志服务的Logtail工具，将需要同步的数据实时采集并...
迁移服务（MMA）
单个任务处理的最大数量（单位GB）需要迁移的分区数据大小的最大值。Hive Job配置 Hive引擎相关的任务参数，默认为MR引擎的部分配置。说明 该配置用于解决YARN容器内存不足、指定Spark运行队列等问题。数据库白名单 需要迁移的Hive数据库，...
DescribeSQLPlan-查询基础信息和计划信息
5984 ScanTimeMax long 带数据扫描算子的阶段在各个存储节点读取数据耗时的最大值，单位为毫秒（ms）。0 InputSizeMax long 阶段在各个计算节点的输入数据量的最大值，单位为 Byte。173 StageId integer 阶段 ID。1 ScanSizeMax long 带...
数据存储冷热分离
假设热分区数为N，数据存储冷热分离策略会按照分区的大小（指定分区列数据的数据值大小）降序排序，最大的N个分区为热分区，存储在SSD盘，其余分区为冷分区，存储在OSS中，形成冷热分区布局。例如热分区数为4，分区包含20201110、20201109...
名词解释
Topic Lifecycle 表示一个Topic中写入数据在系统中可以保存的最长时间，以天为单位，最小值为1，最大值为7 Shard Shard表示对一个Topic进行数据传输的并发通道，每个Shard会有对应的ID。每个Shard会有多种状态:Opening-启动中，Active-启动...
恢复PostgreSQL数据
如果拥有RDS PostgreSQL实例的备份数据，您可以将备份数据恢复到一个新的实例上，可用于误操作后恢复以及分析历史数据等场景。功能介绍 RDS PostgreSQL支持按备份集或时间点恢复数据。恢复数据的过程如下：恢复原实例备份数据到一个新实例...
数据集成概述
离线（批量）的数据通道通过定义数据来源和去向的数据源和数据集，提供一套抽象化的数据抽取插件（Reader）、数据写入插件（Writer），并基于此框架设计一套简化版的中间数据传输格式，从而实现任意结构化、半结构化数据源之间数据传输。...
执行补数据并查看补数据实例（旧版）
补数据可通过补历史或未来一段时间的数据，将写入数据至对应时间分区。代码中的 调度参数，将根据补数据选择的业务时间自动替换为具体值，并结合业务代码将对应时间数据写入指定分区。具体写入的分区与执行的代码逻辑，与任务定义的代码...
查询报错问题
查询提示错误 META_COLUMN_NOT_EXIST 在分析型数据库MySQL版表新增字段后，查询提示找不到新添加的列，具体是什么原因？表正在上线，但是上线失败或者CN副本在重启，都有可能出现 META_COLUMN_NOT_EXIST。对于普通表 一级普通表：新增字段...
ListDoctorHiveTables-批量获取Hive表分析结果
506930200 FormatSizeUnit string 格式数据量单位。MB FormatRatio float 格式占比。0.23 FormatDayGrowthSize long 格式数据量日增量。1232124 FormatSizeDayGrowthRatio float 格式数据量日环比。0.04 Metrics object 指标信息。...
ListDoctorHiveDatabases-批量获取 Hive 库信息
1000 FormatSizeUnit string 格式数据量单位。MB FormatRatio float 格式占比。0.5 FormatDayGrowthSize long 格式数据量日增量。1000 FormatSizeDayGrowthRatio float 格式数据量日环比。0.5 Metrics object 指标信息。TableCount object ...
数据建模：智能数据建模
智能数据建模是阿里云DataWorks自主研发的智能数据建模产品，沉淀了阿里巴巴十多年来数仓建模方法论的最佳实践，包含数仓规划、数据标准、维度建模及数据指标四大模块，帮助企业在搭建数据中台、数据集市建设过程中提升建模及逆向建模的...
冷数据归档
如下所示：对于数据量最大的冷数据，时序引擎会自动根据用户设置的基于业务时间戳的冷热分界线自动将冷数据归档到冷存储中。当需要查询冷数据时，用户可以无感知地按正常查询的方式进行冷数据查询。开通冷存储 时序引擎实例创建后本身就...
SQL Pattern
最大总耗时 在查询时间范围内，Pattern相关SQL的最大查询耗时，单位毫秒（ms）。通过比较最大总耗时和平均查询时间，可以了解指定Pattern的耗时增加是否受到其他SQL的影响。如果在实例运行正常时段内最大总耗时和平均查询时间接近，那么在...
ListDoctorHDFSDirectories-批量获取HDFS目录分析结果
温数据指的是 7 日内没有访问的数据，但是 30 日以内有访问的数据。coldDataSize:冷数据的数据量大小。冷数据指的是 30 日内没有访问的数据，但是 90 日以内有访问的数据。freezeDataSize:极冷数据的数据量大小。极冷数据指的是 90 日以内...
查询结果不符合预期的常见原因
表属性设置了TTL，查询时数据已过期 宽表引擎支持通过设置表属性TTL来指定数据过期时间，TTL的单位是秒（s）。同时，宽表引擎也支持在写入数据时指定时间戳，时间戳的单位为毫秒（ms）。如果写入数据时未指定时间戳，数据将在指定的TTL时长...
基本概念
本文将向您介绍 云数据库ClickHouse 产品中涉及的一些基本名词概念，以便于您更好地理解 云数据库ClickHouse 产品。地域（Region）购买 云数据库ClickHouse 的服务器所处地理位置。您需要在购买 云数据库ClickHouse 服务时指定Region，...
Stream Load
BE配置 streaming_load_max_mbStream：Stream Load的最大导入大小，默认为10 GB，单位是MB。如果您的原始文件超过该值，则需要调整BE的 streaming_load_max_mb 参数。最佳实践 应用场景 使用Stream Load最合适的场景就是原始文件在内存中...
DescribeSlowLogRecords-查询慢日志明细
30 PageNumber integer 否 页码，取值为大于 0 且不超过 Integer 数据类型最大值的正整数。默认值为 1。1 ProcessID string 否 进程 ID。2021052716044317201616624903453*Order string 否 根据指定字段进行排序，格式为 JSON，是一个有序 ...
多值数据写入
时序多值模型 多值的模型是针对数据源建模，我们每一行数据针对的是一个数据源，它的被测量的多个指标在同一行上，所以每一个数据源，数据的来源在每一个时间点上都有一行，这就是多值的模型。比如某个机器的cpu，mem和load指标。每次是...
查询按照SQL ID维度统计的全量请求数据
调用GetPfsSqlSummaries接口，查询数据库实例性能洞察（新版）中按照SQL ID维度的全量请求数据。接口说明 使用该接口需满足以下前提条件：使用阿里云或 DAS 的 SDK 时，建议使用最新版本。在使用 SDK 调用 DAS 服务时，需要将地域指定为 ...
按时间戳冷热分离
注意事项 若某一行数据同时包含热数据和冷数据，例如更新了部分列导致一行数据中既存在热数据又存在冷数据的场景，开启查询热数据优先功能会导致该行的查询结果分两次返回，即Scanner返回的Result集合中，对于同一个Rowkey会有两个对应的...
SelectDB数据源
否 500000 batchSize 每批次导入数据的最大数据量。和 maxBatchRows 共同控制每批次的导入数量。每批次数据达到两个阈值之一，即开始导入这一批次的数据。否 94371840 maxRetries 每批次导入数据失败后的重试次数。否 3 labelPrefix 每批次...
实时消费Kafka数据
当您需要将Kafka数据写入 云原生数据仓库AnalyticDB PostgreSQL版，且不希望使用其他数据集成工具时，可以通过实时数据消费功能直接消费Kafka数据，减少实时处理组件依赖，提升写入吞吐。Apache Kafka是一个容错、低延迟、分布式的发布-...
分区表常见问题
PolarDB MySQL版 是基于共享存储和一写多读的计算存储分离架构的集中式数据库，单分区或单表数据量最大64 TB，不必过早考虑分库分表。使用 PolarDB MySQL版 数据库，单张表数据量太大，想使用分表，如何使用？建议使用分区表。分区表的更多...
设置数据时效
允许设置的最大值为2147483647，表示的含义为”无数据时效”，设置超过2147483647的值仍然会被视作2147483647.7776000 请求 JSON 示例 任务：设置数据时效为 90 天 请求：POST/api/ttl 请求体：{"val":7776000 } 响应说明 200 表示成功，...
TOP Objects
最大CPU耗时 该SQL语句执行最大CPU耗时，单位为毫秒。最后CPU耗时 该SQL语句最后一次执行CPU耗时，单位为毫秒。总执行耗时 该SQL语句总执行耗时，单位为毫秒。平均执行耗时 该SQL语句平均每次执行耗时，单位为毫秒。最小执行耗时 该SQL语句...
概述
随着业务的快速发展，企业数据呈几何倍增长，数据量庞大、复杂、各类数据间标准不一致，往往会出现数据难以管理的现象。DataWorks智能数据建模服务，将无序、杂乱、繁琐、庞大且难以管理的数据，进行结构化有序的管理。使企业中的数据产生...
弧形柱状图
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
- 产品推荐
- 这些文档可能帮助您