预测函数
示例：预测指定field key的field value 原始数据示例一使用了Chronograf来可视化数据。该示例重点关注 NOAA_water_database 数据集的如下数据：SELECT"water_level"FROM"NOAA_water_database"."autogen"."h2o_feet"WHERE"location"='santa_...
应用场景
数据脱敏 支持通过灵活多样的内置或自定义脱敏算法，支持生产类敏感数据脱敏到开发测试等非生产环境使用的静态脱敏场景，同时也支持原始数据不做调整，返回数据动态脱敏的场景，并确保脱敏后的数据保真可用。数据审计 智能解析数据库及大...
成本
压缩表可以有效节约存储空间，如果采用ZSTD压缩算法，可节约大约75%存储空间，即1GB的原始数据仅仅需要250MB左右的物理存储空间。如采用LZ4压缩算法，可节约大约60%的存储空间，即1GB的原始数据仅仅需要400MB的物理存储空间。通过存储压缩...
配置用户组
成功创建用户组后，您可以使用 数据脱敏管理 功能，配置目标脱敏规则的白名单，将该用户组添加至白名单中，则使用目标脱敏规则进行脱敏的数据，对该用户组中的用户仍然显示为脱敏前的原始数据。配置脱敏规则的白名单，详情请参见 创建数据...
应用场景
3.实时数据仓库 3.1 数据总线替换传统数据库，构建实时数仓 从Lambda架构到Kappa架构，通过数据总线搭建原始数据层，实时明细层和实时汇总层，打造实时数据仓库。3.2 收益 统一的Kappa架构 传统Lambda架构的两条链路缩减为一条，大大降低...
引擎简介
云原生多模数据库 Lindorm 消息引擎是Lindorm面向IoT、车联网、日志等流式数据提供的数据接入服务，支持业务原始数据高吞吐写入，并基于流引擎的实时处理能力，业务只需做简单开发，即可快速实现数据的ETL并入库到Lindorm宽表引擎。...
基本概念
pyramid 栅格金字塔，是原始栅格对象的缩减采样版本，可以包含多个缩减采样图层，金字塔的各个连续图层均以2：1的比例进行缩减采样，第0层代表原始数据。pyramid level 栅格金字塔层级。mosaic 栅格镶嵌，将多个输入栅格镶嵌到现有栅格数据...
基本概念
pyramid 栅格金字塔，是原始栅格对象的缩减采样版本，可以包含多个缩减采样图层，金字塔的各个连续图层均以2：1的比例进行缩减采样，第0层代表原始数据。pyramid level 栅格金字塔层级。mosaic 栅格镶嵌，将多个输入栅格镶嵌到现有栅格数据...
两表交集
两个来源节点的原始数据中满足这些映射关系的数据即为二者的交集，如下示意图所示。示例如下所示，假设两个输入节点分别为A和B，设置交集条件为A.ID=B.USER_ID，交集运算结果如下图右侧所示。输出字段 配置当前节点输出到下游节点的字段...
基本概念
pyramid 栅格金字塔，是原始栅格对象的缩减采样版本，可以包含多个缩减采样图层，金字塔的各个连续图层均以2：1的比例进行缩减采样，第0层代表原始数据。pyramid level 栅格金字塔层级。mosaic 栅格镶嵌，将多个输入栅格镶嵌到现有栅格数据...
基本概念
pyramid 栅格金字塔，是原始栅格对象的缩减采样版本，可以包含多个缩减采样图层，金字塔的各个连续图层均以2：1的比例进行缩减采样，第0层代表原始数据。pyramid level 栅格金字塔层级。mosaic 栅格镶嵌，将多个输入栅格镶嵌到现有栅格数据...
互联网、电商行业离线大数据分析
通过DataWorks对原始数据进行处理，并形成开放API。以API的形式通过DataV在大屏上展示结果数据。方案优势 大规模存储：超大规模存储且自动扩容，最大可以支持EB级别的数据。高性能：性能更加高效、稳定。低成本：与自建数据库进行分析相比...
产品架构
为了同步正在进行的数据变更，DTS使用两个处理事务日志的模块：事务日志读取模块：日志读取模块从源实例读取原始数据，经过解析、过滤及标准格式化，最终将数据在本地持久化。日志读取模块通过数据库协议连接并读取源实例的增量日志。如果...
数仓分层
数据引入层ODS（Operation Data Store）：存放未经过处理的原始数据至数据仓库系统，结构上与源系统保持一致，是数据仓库的数据准备区。主要完成基础数据引入到MaxCompute的职责，同时记录基础数据的历史变化。数据公共层CDM（Common Data ...
离线同步读取MongoDB数据
同步任务运行时，会将原始数据数组内容，使用splitter进行拼接，最终输出为拼接后的字符串。a,b Document数据存在多层嵌套时，读取嵌套中的指定字段同步 MongoDB原始数据 字段映射配置 输出至MaxCompute的结果 {"col_doc":{"key_string":...
数仓分层
数据引入层（ODS，Operational Data Store，又称数据基础层）：将原始数据几乎无处理地存放在数据仓库系统中，结构上与源系统基本保持一致，是数据仓库的数据准备区。这一层的主要职责是将基础数据同步、存储到MaxCompute。数据公共层（CDM...
数仓分层
数据引入层ODS（Operation Data Store）：存放未经过处理的原始数据至数据仓库系统，结构上与源系统保持一致，是数据仓库的数据准备区。主要完成基础数据引入到MaxCompute的职责，同时记录基础数据的历史变化。数据公共层CDM（Common Data ...
步骤二：规划数仓
数据源：业务数据中读取原始数据和写入数据仓库过程中的数据。步骤一：创建数据板块 在Dataphin首页，单击顶部菜单栏的 规划。按照下图操作指引，进入 新建数据板块 对话框。在 生产开发类型 步骤中选择 Basic模式 并单击 下一步。在 板块...
步骤二：规划数仓
数据源：业务数据中读取原始数据和写入数据仓库过程中的数据。步骤一：创建数据板块 在Dataphin首页，单击顶部菜单栏的 规划。按照下图操作指引，进入 新建数据板块 对话框。在 生产开发类型 步骤中选择 Basic模式 并单击 下一步。在 板块...
01新建模型目录
在 新建目录 对话框，输入目录的名称和标识，操作完成后，单击 确认，按照下面表格中数据依次新建一级、二级目录，目录配置如下：一级目录 一级目录code 目录描述 二级目录 二级目录code STG stg 客户数据源数据层-ODS ods 原始数据层 基础...
使用应用程序访问本地或第三方云数据库
您VPC内的应用程序访问该地址，和直接访问原始数据库的效果一致。例如，您本地机房的数据库地址为10.1.2.3:3306，由于云上云下网络不通，您在阿里云上部署的程序并不能直接访问该数据库。但通过数据库访问点的映射，会在您阿里云VPC内生成...
特征管理
原始数据和已加工的数据则作为特征。例如，如果我们有一个数据集，其中包含了关于房屋的信息，比如面积、卧室数量、地理位置、建造年份等，那么每一项信息都可以被视为一个特征。特征的选择和准备对于构建有效的机器学习模型至关重要。良好...
CREATE PREDOWNSAMPLE
从预降采样数据中查询数据 默认情况下，降采样查询数据是从原始数据中进行查询。如果要从预降采样数据中查询数据需要在查询语句中使用Hint（/*+PREDOWNSAMPLE*/）。预降采样的详细信息，请参见 预降采样。示例 创建预采样规则并设置数据...
常见问题
Selector函数 问题一：理解返回的时间戳 selector函数返回的时间戳依赖查询中函数的数量和查询中的其它子句：对于有单个selector函数、单个field key和没有 GROUP BY time()子句的查询，将会返回在原始数据中出现的数据点的时间戳。...
X-Engine最佳实践
在采用X-Engine之后，相同原始数据，所需的磁盘空间比使用InnoDB引擎减少了62%。同时继续保有了对事务以及二级索引等数据库特性的支持。业务代码不做任何修改即可以迁移到使用X-Engine引擎的集群上。详情请参见 X-Engine如何支撑钉钉跃居...
概述
实时数据分析 实时数据分析指的是根据业务目标，从原始数据中抽取对应信息并整合的过程。例如，查看每天销量前10的商品、仓库平均周转时间、文档平均单击率和推送打开率等。实时数据分析则是上述过程的实时化，通常在终端体现为实时报表或...
使用应用程序访问本地或第三方云数据库
您VPC内的应用程序访问该地址，和直接访问原始数据库的效果一致。例如，您本地机房的数据库地址为10.1.2.3:3306，由于云上云下网络不通，您在阿里云上部署的程序并不能直接访问该数据库。但通过数据库访问点的映射，会在您阿里云VPC内生成...
数据保护伞概述
用户组配置：快速将具有相同数据访问权限的账号批量添加至用户组，后续配置数据脱敏时，统一配置白名单，获取脱敏前的原始数据。系统配置 配置用户组 步骤二：事中防护。敏感数据规则配置完成并启用后，DataWorks将自动识别命中规则的敏感...
从RDS导入数据至ClickHouse
示例 在RDS MySQL实例中，创建原始数据表并导入原始数据。连接MySQL实例，详情请参见 通过客户端、命令行连接RDS MySQL。执行以下命令，创建原始数据表。CREATE TABLE `origin`.`orders`(`uid` int(10)unsigned DEFAULT NULL,`date` ...
数据探索概览
说明 level description不是NOAA原始数据的一部分，我们在这里加入这个field是为了拥有具有特殊字符和特殊字符串的field value。InfluxDB® is a trademark registered by InfluxData,which is not affiliated with,and does not endorse,...
流式数据通道概述
热数据存储量会出现增长情况：在开启异步处理的场景下（Merge或Zorder），MaxCompute流式数据通道服务会对最近一小时写入的数据保存两份，一份为原始数据，一份为异步聚合后的数据，数据的存储量会有一定程度的冗余。冗余数据的保存周期...
基本概念
该方式的优点在于第0层为原始数据分辨率，保持了数据原始的数据信息，而且数据分块速度快，图像更新方便，查询效率高。但缺点是不同栅格数据没有统一的数据分块方式，不便于进行叠加分析。Ganos Raster 默认使用local方式对数据进行分块并...
SQL闪回
本文介绍了SQL闪回功能的使用方法。背景介绍 PolarDB-X SQL闪回功能...使用方式：在 临时表 执行，写入误操作前的原始数据，与现有数据进行对比，分析冲突后决定最终数据。适用场景：当需要恢复的数据与当前数据存在冲突时，建议生成原始SQL。
资产质量概述
因业务系统的原始数据的规范性无法得以保障，所以Dataphin需要定义数据分析的质量，以满足资产质量的时效性、准确性、完整性、一致性、有效性，助您真正能够依赖数据进行经营决策。数据质量流程引导 数据质量流程引导帮助您从（可选）配置...
资产质量概述
因业务系统的原始数据的规范性无法得以保障，所以Dataphin需要定义数据分析的质量，以满足资产质量的时效性、准确性、完整性、一致性、有效性，助您真正能够依赖数据进行经营决策。数据质量流程引导 数据质量流程引导帮助您从（可选）配置...
DBS沙箱功能概览
相比现有基于大数据平台的历史数据离线分析方案，DBS沙箱功能提供原始数据库SQL接口，不需要开发人员编写离线分析脚本，并由于使用快照存储机制，存储成本也更低。费用说明 更多信息，请参见 DBS沙箱费用。后续步骤 自建MySQL应急恢复...
时序引擎应用开发简介
在数据写入时按照设置的规则将原始数据降低精度存储，降采样查询时，通过查询低精度数据来减少查询的数据量，从而降低查询延迟。使用OpenTSDB或时间序列数据库TSDB的应用开发步骤 Lindorm时序引擎兼容相关接口，对于已有使用OpenTSDB或者...
使用Grafana进行异常检测算法调优
说明 如果图表绘制失败或不符合预期，请确认原始数据查询SQL是否只选择了一条时间线，您可以在Grafana Explore界面中进行测试。在右侧 Anomaly Detect 目录中，调整时序异常检测算法与参数。当前Lindorm ML主要提供两类算法：统计类算法和...
SQL闪回
背景介绍 PolarDB-X 1.0 SQL闪回针对SQL误操作，提供行级数据的恢复...使用方式：在 临时表 执行，写入误操作前的原始数据，与现有数据进行对比，分析冲突后决定最终数据。适用场景：当需要恢复的数据与当前数据存在冲突时，建议生成原始SQL。
数据脱敏
动态脱敏通常用于生产环境，可以保持原始数据的完整性和准确性，同时避免了数据泄露的风险。动态脱敏的缺点是处理速度较慢，可能会影响数据库的查询效率。静态脱敏：对敏感数据进行预处理，将处理后的数据替换原始数据存储在数据库等存储...
- 产品推荐
- 这些文档可能帮助您