手动备份MongoDB数据
本文介绍云数据库MongoDB手动备份数据的方法。前提条件 已创建云数据库MongoDB单节点实例、副本集实例或分片集群实例。注意事项 如果您购买的云数据库MongoDB实例数据库版本低于MongoDB 4.0，且备份方法选择 物理备份，当该实例中集合和...
库表结构优化
说明 预期优化收益是基于历史数据统计的预估值，非实时统计的准确值，仅供参考。具体操作指引 当优化类型为冷热数据优化和索引优化时，用户可以对当前优化建议采取 一键应用 操作。说明 一键应用，表示同意采纳该优化建议。一键应用 后相应...
原子指标
原子指标用于明确业务的统计口径和计算逻辑，是基于用户的业务活动（即业务过程）创建的，用于统计业务活动中某一业务状况的数值。例如，用户的业务活动为购买，则原子指标就可以指定为支付金额。本文为您介绍如何创建原子指标。前提条件 ...
自动备份MongoDB数据
本文介绍云数据库MongoDB自动备份数据的方法。前提条件 已创建云数据库MongoDB单节点实例、副本集实例或分片集群实例。注意事项 如果您购买的云数据库MongoDB实例数据库版本低于MongoDB 4.0，且备份方法选择 物理备份，当该实例中集合和...
预降采样
本文介绍预降采样的概念，创建和管理预降采样规则的方法，查询预降采样数据的方法，以及预降采样的最佳实践。前提条件 时序引擎版本为3.4.19以上。说明 如何查看或升级时序引擎版本，请参见 时序引擎版本说明 和 升级小版本。功能介绍 预降...
案例介绍
amt_30d from fct_crt_ord_di where ds>='20210901' and ds根据上述代码为您介绍如何定义统计周期、统计粒度、统计时效、原子指标、业务限定和派生指标：统计周期 统计周期用于约束指标的来源数据的时间跨度，即该指标的统计周期为最近30天...
快速实现数据分类分级
数据安全中心DSC（Data Security Center）是一款数据安全中心产品，可以通过收集和分析数据库的信息，提供云上数据的分类分级（包括敏感数据识别）能力。本文介绍如何快速在DSC控制台实现数据分类分级。前提条件 已规划好要接入数据安全...
管理SLS日志的监控指标
统计方法 在统计周期内根据选定的统计方法对日志数据进行聚合处理。如果字段值是数值型，可以使用所有统计方法，否则只能使用 计数 和 countps 两种聚合算法。取值：计数：计算统计周期内指定字段数值的个数。求和：计算1分钟内指定字段...
文档修订记录
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
2022年
2022-12-05 实例画像 2022年11月 引擎 功能名称 功能描述 发布时间 相关文档 RDS MySQL、PolarDB MySQL版 自动SQL优化 新增自动SQL优化的API接口，用于获取指定时间段内自动SQL优化任务的统计数据，包括任务总数和最大收益等。2022-11-29 ...
请求分析
数据库自治服务DAS（Database Autonomy Service）提供请求分析功能，包括查看全局慢日志和SQL全量请求分析。前提条件 数据库实例需要满足以下条件：全局慢日志功能，目前仅支持如下数据库实例：RDS MySQL MyBase MySQL PolarDB MySQL版 ...
添加适配数据源
在使用数据集前需要先添加支持的数据源内容，本文介绍添加适配数据源的方法。如果通过上传本地数据源文件方式创建数据集请跳过本章节。背景信息 说明 当前数据集功能支持以下数据源类型：RDS for PostgreSQL、RDS for MySQL、兼容MySQL数据...
添加适配数据源
在使用数据集前需要先添加支持的数据源内容，本文介绍添加适配数据源的方法。如果通过上传本地数据源文件方式创建数据集请跳过本章节。背景信息 当前数据集功能仅支持以下三种数据源类型：RDS for MySQL 兼容MySQL数据库 RDS for ...
编辑数据源
本文为您介绍编辑数据源的方法。数据源添加完成之后，您可以根据大屏展示的需要，编辑数据源的内容。推荐在画布编辑页面编辑数据源。除了可以编辑数据源，还可以在该页面完成 数据映射、添加过滤器 和设定数据 自动更新 时间。操作步骤 ...
添加数据集
DataV数据集支持多种数据源的接入，如数据库、excel表格文件等，通过对数据的结构化存储和元数据的汇集整理，提供高效实用的数据建模能力，可用的算子包括常见的数据聚合函数、按不同时间粒度划分、地理信息处理等。本文为您介绍如何在...
独享数据集成资源组
网络连通方案 独享数据集成资源组与其他独享资源组类似，本质上为一组阿里云ECS实例，在数据集成任务运行时，需保障资源组与数据源之间的网络是连通的，且不会因为白名单等特殊安全访问设置阻断资源组与数据源之间的网络连通性。...
独享调度资源组
网络连通方案 独享调度资源组与其他资源组类似，本质上为一组阿里云ECS实例，在进行数据开发等任务运行时，需保障资源组与数据源之间的网络是连通的，且不会因为白名单等特殊安全访问设置阻断资源组与数据源之间的网络连通性。说明 如果独...
数据查询
提升查询性能 方法 适用场景 描述 区别 使用预聚合提升查询性能 大量时间线实时聚合查询 预聚合通过使用Lindorm时序引擎提供的 数据的持续查询 功能，提前将需要查询的结果进行计算后转存到结果表，查询时指定查询结果表，即可快速查询结果...
数据迁移和同步方案概览
云数据库MongoDB提供了多种数据迁移和同步方案，可满足不同业务场景下MongoDB数据库的数据迁移和同步需求。影响 如果实例的数据库小版本过期或不在维护列表内，当执行以下操作时，为保证提供更出色的性能和稳定性，系统会默认将您的数据库...
添加区块链服务数据源
本文档为您介绍在DataV中添加区块链服务数据源的方法，以及相关参数配置说明。使用阿里云区块链服务（Blockchain as a Service，简称BaaS），您可以通过REST API调用智能合约，查询链上信息，也可以查询区块及交易信息。前提条件 已准备好...
蓝图编辑器常见案例教学
第二个处理方法的示例代码：let data_b=getLocalValue('data_b')|0;let res=data&data.length!0?data[0].value+data_b:data_b return[{ value:res }];蓝图交互配置完成后，您可以查看预览效果。说明 如果数据源比较多的时候，在DataV实现...
设置资产数据源
本文介绍DataV设置资产数据源的方法，以及 设置数据源 页面的内容，包括数据源、数据过滤器以及数据响应结果等。配置资产数据源 登录 DataV控制台。在 我的可视化 页面，单击您创建的可视化应用项目上方的 编辑 按钮。在画布编辑器页面，...
网络连通解决方案
添加数据源时需要根据数据源所在网络环境，通过对应的网络解决方案，实现Dataphin与数据源的网络连通。本文为您介绍数据源在不同网络环境中与Dataphin的网络连通方案。网络连通方案 根据数据源所在的网络环境，在下图中选择对应的网络连通...
添加宜搭数据源
本文为您介绍在DataV中添加和使用宜搭数据源的方法，以及相关参数配置说明。前提条件 已通过钉钉登录 宜搭控制台 创建一个宜搭应用数据表单。新建表单详情请参见 新建宜搭数据表单。背景信息 宜搭数据源内数据的调用权限使用最小可用原则。...
新增和使用独享数据服务资源组
购买独享数据服务资源组时需要进行网络配置，您可以为独享资源组绑定一个可与目标数据源连通的VPC和该VPC下对应可用区中的V-Switch，实现自动添加路由至整个VPC网段，从而保障独享数据服务资源组与该VPC环境中的数据源之间的网络连通性。...
复合指标
由于派生指标只是针对某业务活动某段时间的数据量统计，无法满足贴近用户实际使用的业务增长率、差值计算等数据的比对需求（例如，统计某业务活动的周环比增长率）。因此，DataWorks为您提供了由派生指标通过运算规则进行计算而形成的复合...
配置资源组与网络连通
在数据同步任务配置前，您需要确保用于执行同步任务的独享数据集成资源组与您将要同步的数据来源端与目的端数据库的网络连通性，您可以根据数据库所在网络环境，选择合适的网络解决方案来实现网络连通。本文为您介绍数据库在不同网络环境中...
质量规则参数配置
稳定性 表稳定性校验/表波动性校验：统计方式：可统计字段计数、字段最大值、字符重复率等，详情请参见指标 稳定性 大类的统计方式描述。校验表数据过滤：详情请参见 完整性/唯一性 大类的描述。字段稳定性校验/字段波动性校验：校验字段、...
质量规则参数配置
稳定性 表稳定性校验/表波动性校验：统计方式：可统计字段计数、字段最大值、字符重复率等，详情请参见指标 稳定性 大类的统计方式描述。校验表数据过滤：详情请参见 完整性/唯一性 大类的描述。字段稳定性校验/字段波动性校验：校验字段、...
数据归档功能介绍及开启方法
为了降低数据存储成本，同时保证查询性能，PolarDB-X 支持将查询频度低的数据（称为 冷数据）归档到OSS对象存储中。本文介绍了冷数据归档的方法。功能介绍 当AUTO模式数据库下的 TTL表，产生了到期数据后，如果需要将到期的冷数据进行归档...
如何优化数据导入导出
导入导出工具介绍 PolarDB-X 常见的数据导出方法有：mysql-e命令行导出数据 musqldump工具导出数据 select into outfile语句导出数据（默认关闭）Batch Tool工具导出数据（PolarDB-X 配套的导入导出工具）PolarDB-X 常见的数据导入方法有：...
Napatech案例
Lindorm支持海量数据的低成本存储、快速批量导入和实时访问，具备高效的增量及全量数据通道，可轻松与各类大数据平台集成，完成数据的大规模离线分析。基于Lindorm的解决方案，用户在采用到100Gbps+流量产生的大量数据包元数据直接通过...
数据集成概述
背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优（例如容错，限速，并发）等。...
配置VPC数据源
本文介绍在DataV中配置专有网络VPC（Virtual Private Cloud）内数据源的方法。通过专有网络VPC数据源的配置，您可以将专有网络VPC内的数据库接入到DataV中，并作为组件的数据源进行大屏展示。背景信息 了解专有网络VPC，详情请参见 什么是...
数据集成概述
使用限制 数据同步：支持且仅支持结构化（例如RDS、DRDS等）、半结构化、无结构化（OSS、TXT等，要求具体同步数据必须抽象为结构化数据）的数据的同步。即数据集成仅支持传输能够抽象为逻辑二维表的数据同步，不支持同步OSS中存放完全非...
添加实时数仓Hologres数据源
选择内网数据库的网络类型（包括 专有网络 和 经典网络）。专有网络 打开 VPC 开关，进入 专有网络 模式。填写数据库信息。参数 说明 VPC ID Hologres实例绑定的指定VPC的VPC ID。进入 Hologres管理控制台 的实例详情页，从 网络信息 的...
系统管理
说明 您可在配置数据源时，测试数据源与资源组的网络连通性。测试网络连通性，详情请参见 配置数据源。所选资源组需绑定至待接收数据的表所在的DataWorks工作空间。操作详情请参见 使用公共资源组、新增和使用独享调度资源组、新增和使用独...
添加实时数仓Hologres数据源
选择内网数据库的网络类型（包括 专有网络 和 经典网络）。专有网络 打开 VPC 开关，进入 专有网络 模式。填写数据库信息。参数 说明 VPC ID Hologres实例绑定的指定VPC的VPC ID。进入 Hologres管理控制台 的实例详情页，从 网络信息 的...
公共规范
公共字段定义规范 数据统计日期的分区字段按以下标准：按天分区：ds(YYYYMMDD)。按小时分区：hh(00~23)。按分钟：mi(00~59)。is_{业务}：表示布尔型数据字段。以 Y 和 N 表示，不允许出现空值域。原则上不需要冗余分区字段。数据冗余 一个...
Kafka实时ETL同步至Hologres
实时数据同步 中包含实时同步的统计信息，包含实时的读写流量、脏数据、Failover和运行日志。任务重跑 直接重跑 不修改任务配置，直接单击同步任务 操作 列的 更多>重跑 操作，重跑一次性任务。修改后重跑 编辑任务，进行修改操作后，单击 ...
- 产品推荐
- 这些文档可能帮助您