产品功能
模型训练 运行自动机器学习 GDB Automl提供运行自动机器学习功能，您可以配置实验基本参数（包括训练数据帧、验证数据帧和目标特征列，用于排行榜对模型排序的第一指标等）和训练参数（例如K折交叉验证折数，指定训练权重列、排序指标、...
SELECT
流引擎兼容Apache Flink SQL的SELECT语句。Apache Flink V1.17.1 SELECT语句详情如下表所示。...Top-N 去重 从数据流中去除重复的行数据。Deduplication 说明 如果您需要查看其它版本Queries语句，请注意切换到对应版本。
什么是云数据库SelectDB版
在业界知名的ClickBench全球分析型数据库性能排行榜上，查询性能位列第一，写入效率位列第二。低成本：通过存算分离架构大幅度降低存储成本，通过弹性伸缩、按需启停等能力，提高计算资源利用率并降低成本支出。灵活弹性 在计费方式方面，...
排行榜
配置数据 以 基础排行榜 为例为您介绍排行榜的数据配置。在组件库区域的 图表 中，找到 基础排行榜 并拖至画布中。单击 请选择数据集，并按照下图指引，添加数据。您还可以对数据进行以下操作：批量设置字段格式（①），详细操作请参见 ...
模型训练
在 PARAMETERS（参数设置）区域，配置training_frame（训练数据帧）、response_column（训练目标列）、validation_frame（验证数据帧）、blending_frame（混合模式数据帧）和leaderboard_frame（计算模型评分排行榜所用数据帧）。...
常见问题
Spark查询Hudi数据重复，如何处理？Hive查询Hudi数据重复，如何处理？Spark查询Hudi表分区裁剪不生效？使用Spark的alter table语句时，报错xxx is only supported with v2 tables，如何处理？Spark查询Hudi数据重复，如何处理？问题原因：...
数据去重
用途 数据去重算子可以按照指定的字段去除重复的数据，只保留其中一条，然后输出到下个节点。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 使用说明 选择去重字段 选择需要去重的字段，...
排行榜
排行榜反映指标在维度中的分布及排名顺序，简洁地展示TOP N的降序排行。例如，排行榜根据销售额从大到小的顺序展示TOP 10城市。本文为您介绍如何为排行榜添加数据并配置样式。前提条件 已创建仪表板，请参见 新建仪表板。图表概述 使用场景...
按时间戳冷热分离
如果有大量请求需要去查询冷数据，则需要考虑当前 COLD_BOUNDARY 设置的值是否会导致系统查询的冷数据过多进而影响查询效率。如果一行数据已经在冷存储，但这行数据后续有更新，更新的字段会先保存在热存储。如果此时设置 HOT_ONLY 或 ...
冷热分离
背景信息 在海量大数据场景下，一张表中的部分业务数据随着时间的推移仅作为归档数据或者访问频率很低，同时这部分历史数据体量非常大，比如订单数据或者监控数据，降低这部分数据的存储成本将会极大的节省企业的成本。因此，如何以极简的...
数据可视化展现
在数据分析中使用数据源，需要先给数据源授权，您可以进入 安全中心>安全策略>数据查询与分析管控>可查询数据源 界面，找到需要查询的数据源，单击 操作 列的 授权，为您的账号授权，详情请参见 安全中心。创建 临时文件。方式一：首次进入...
基于TairZset轻松实现多维排行榜
在查询前，插入一条7月5号的数据：EXZINCRBY julyZset 7#2#5#10#23#70 7#2#5#10#23_user1 返回结果："7#2#5#10#23#70"查询命令：EXZREVRANGEBYSCORE julyZset 7#2#6#0#0#0 7#2#5#0#0#0 返回结果：1)"7#2#5#10#23_user1"周排行榜，例如查询7...
数据可视化展现
本文为您介绍如何通过DataWorks数据分析实现用户画像数据可视化展示。前提条件 在开始试验前，请确认您已经完成了 加工数据。即已通过数据开发DataStudio将数据加工为用户画像基本数据。数据分析场景 本案例通过数据分析对用户画像数据进行...
时序引擎版本说明
为提升用户体验，云原生多模数据库 Lindorm会不定期地发布版本，用于丰富云产品功能或修复已知缺陷。您可以参阅本文了解Lindorm时序引擎的版本更新说明，选择在业务低峰期升级实例的时序引擎版本。如何查看或升级实例的时序引擎版本 您可以...
指令支持列表
查询2023年的数据”查询控件“在报表中，基于测试数据集添加一个查询控件，查询各渠道的数据”查询控件（选中1个tab）“基于测试数据集添加查询控件，查询2023年1月到10月的数据”查询控件（选中1个图表）“添加查询控件，查询各渠道的数据...
基于TairZset实现分布式架构排行榜
借助Tair自研客户端可实现分布式架构排行榜的能力，即可将计算任务分布至多个Key（子排行榜）中完成，您可自定义该Key的数量（默认为10），Tair会将自动数据分散到10个Key中（子排行榜）完成计算，实现分布式架构排行榜。背景信息 实现分布...
标签资产市场概述
⑤ 标签排行榜 上新榜：标签上新排行，包括 近30天 发布的标签。热用榜：标签使用排行，系统将按照标签 近7天 在线调用次数加上离线调用次数显示其欢迎程度。单击对应标签名称可以快速查看该标签的标签详情。更多信息，请参见 标签资产市场...
步骤六：可视化分析
本文将使用Quick BI指导您完成本教程的可视化分析步骤，包括数据源、数据集的创建和数据大屏图表的配置。步骤一：创建数据源 登录 Quick BI控制台。...单击 更新，即可在 排行榜 图表中查看到数据排行榜信息。如下图所示：
步骤六：可视化分析
本文将使用Quick BI指导您完成本教程的可视化分析步骤，包括数据源、数据集的创建和数据大屏图表的配置。步骤一：创建数据源 登录 Quick BI控制台。...单击 更新，即可在 排行榜 图表中查看到数据排行榜信息。如下图所示：
功能发布记录（2022年）
英国（伦敦），美国（硅谷），美国（弗吉尼亚），阿联酋（迪拜）所有DataWorks用户 数据集成概述 DataWorks支持EMR新版数据湖DataLake DataWorks支持基于EMR计算引擎新版数据湖DataLake，实现基于EMR引擎的数据集成、数据建模、数据开发...
表引擎
虽然ReplacingMergeTree表引擎提供了主键去重的能力，但是仍然存在很多限制，因此ReplacingMergeTree表引擎更多被用于确保数据最终被去重，而无法保证查询过程中主键不重复，主要限制如下。在分布式场景下，相同主键的数据可能被分布到不同...
功能发布记录 2022年之前
DataWorks的数据治理中心从全局视角、工作空间视角、个人视角，自动发现并量化平台使用过程中数据存储、任务计算、代码开发、数据质量及数据安全等维度存在的待治理问题，并通过健康分模型进行统计，以治理报告及治理排行榜的形式呈现治理...
PolarDB MySQL版间迁移
待迁移的表需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。如迁移对象为表级别，且需进行编辑（如表列名映射），则单次迁移任务仅支持迁移至多1000张表。当超出数量限制，任务提交后会显示请求报错，...
RDS MariaDB迁移至RDS PostgreSQL
类型 说明 源库限制 待迁移的表需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。如迁移对象为表级别，且需进行编辑（如表列名映射），则单次迁移任务至多支持1000张表。当超出数量限制，任务提交后会...
RDS MariaDB同步至RDS PoatgreSQL
类型 说明 源库限制 待同步的表需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。如同步对象为表级别，且需进行编辑（如表列名映射），则单次同步任务仅支持同步至多1000张表。当超出数量限制，任务提交...
Db2 for LUW同步至PolarDB-X 2.0
待同步的表需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。如同步对象为表级别，且需进行编辑（如表列名映射），单次同步任务的表数量超过5000时，建议您拆分待同步的表，分批配置多个任务，或者配置整...
Db2 for LUW迁移至云原生数据仓库 AnalyticDB ...
待迁移的表需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。如迁移对象为表级别，且需进行编辑（如表列名映射），则单次迁移任务仅支持迁移至多1000张表。当超出数量限制，任务提交后会显示请求报错，...
Db2 for LUW同步至云原生数据仓库 AnalyticDB ...
待同步的表需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。如同步对象为表级别，且需进行编辑（如表列名映射），单次同步任务的表数量超过5000时，建议您拆分待同步的表，分批配置多个任务，或者配置整...
从Amazon Aurora PostgreSQL迁移至阿里云
如果源库中待迁移的表没有主键或唯一约束，且所有字段没有唯一性，可能会导致目标数据库中出现重复数据。对于迁移失败的任务，DTS会触发自动恢复。在您将业务切换至目标实例前，请务必先结束或释放该任务，避免该任务被自动恢复后，导致源...
文档修订记录
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
查看资源用量大盘
项目数据处理单元用量统计 项目数据处理单元用量统计的排行榜分别从 数据处理单元当前用量TOP10项目 和 最近1个月数据处理单元使用增量TOP10项目 两个视角，为您展示每个项目下的数据处理单元使用量及最近1个月消耗增量排行情况；...
配置安全规则
将数据库添加到数据库审计系统后，您可以为数据库配置安全规则（即审计规则），当数据库的审计记录命中审计规则时，数据库审计系统会触发告警。本文介绍如何配置审计规则。背景信息 审计规则支持内置规则和自定义规则。内置规则即数据库...
Tair自研数据结构最佳实践
本文介绍 Tair 自研数据结构的最佳实践。基于Tair与LLM构建企业专属Chatbot TairVector混合检索实践 基于Tair Vector实现图文多模态检索 基于Tair...基于TairTS实现秒级监控 基于TairZset轻松实现多维排行榜 基于TairZset实现分布式架构排行榜
Tair扩展数据结构概览
云数据库 Redis 版 与开源Redis相同，支持String、List、Hash、Set、Sorted Set、Stream等数据类型，能够满足大部分场景下的开发需求，但无法直接满足一些复杂场景的业务需求，需要通过开发大量代码、使用Lua脚本等复杂的方式实现。...
Tair命令概览
Zset增强 exZset 无 TairZset可实现256个维度的double类型的分值排序，提供普通排行榜和多维排行榜的能力。该数据结构已开源，更多信息请参见 TairZset。最佳实践：基于TairZset轻松实现多维排行榜、基于TairZset实现分布式架构排行榜。...
写入与查询
本文介绍 AnalyticDB MySQL 中写入与查询的常见问题及解决方法。说明 当常见问题场景中未明确产品系列时，表明该问题仅适用于 AnalyticDB MySQL 数仓版（3.0）。常见问题概览 湖仓版（3.0）集群是否支持通过JDBC方式查询Hudi表的数据？湖仓...
空间分析
您可以通过DAS的空间分析功能直观地查看某个数据库实例的空间使用概况、空间剩余可用天数，以及数据库中某个表的空间使用情况、空间碎片、空间异常诊断等，本文以 RDS MySQL 数据库为例介绍如何使用空间分析功能。前提条件 支持如下数据库...
RDS MySQL/MariaDB版实例CPU使用率较高
对于查询数据比较静态、查询重复度高、查询结果集小于1MB的应用，考虑开启查询缓存（Query Cache）。说明 能否从开启查询缓存（Query Cache）中获益需要经过测试，具体设置请参见 RDS MySQL查询缓存（Query Cache）的设置和使用。定期归档...
空间分析
说明 全局空间使用排行榜 支持如下数据库实例：RDS MySQL 自建MySQL 云数据库MongoDB版 自建MongoDB 登录 DAS控制台。在左侧导航栏，单击 空间分析，进入 全局空间使用排行榜 详情页，查看相关信息。接入方式为 账号直连 和 集中模式...
治理效果
操作 操作 下为您提供查看数据趋势和健康分排行榜的入口：单击 操作 列下的 图标，查看该项目下计算和存储的 近7天 或 近30天 数据趋势：单击 存储，进入 存储 页面，将鼠标悬浮在数据趋势曲线上，查看某日的健康分和存储量。单击 计算，...
- 产品推荐
- 这些文档可能帮助您