应用场景
3.实时数据仓库 3.1 数据总线替换传统数据库，构建实时数仓 从Lambda架构到Kappa架构，通过数据总线搭建原始数据层，实时明细层和实时汇总层，打造实时数据仓库。3.2 收益 统一的Kappa架构 传统Lambda架构的两条链路缩减为一条，大大降低...
按扫描量付费
如何节省费用 您可以先通过以下3种方式对原始数据进行处理，然后再使用DLA扫描数据，可以节省一定的费用。格式转换：把原始数据的格式转换为高性能格式。DLA支持多种高性能数据格式，例如Apache ORC、Apache Parquet、Avro格式。您可以根据...
产品数据API
产品数据API包括产品下设备的快照数据API、原始数据API和事件数据API，您可以新建指定的产品数据API后，调用对应API获取产品下指定设备的原始数据、快照数据或事件数据。本文介绍如何新建和编辑产品数据API。前提条件 已创建产品和设备。...
数据脱敏
本文介绍数据安全中心数据脱敏功能相关的常见问题和解决方案。静态脱敏是否对原始数据有影响？没有影响。静态脱敏功能只会对数据进行读取、脱敏后保存到您选择的目标位置，不会对源数据进行改动。是否支持脱敏图片类型的数据？不支持。
应用场景
背景信息 设备将原始数据通过 MQTT 协议发送到物联网平台，经由物联网平台将数据转发到消息服务系统，继而通过流计算系统对这些数据进行实时计算处理后写入到 TSDB 中存储，或者经由物联网平台直接将原始数据写入 TSDB 中存储。前端的监控...
Sign
Algorithm string 是 RSAES_OAEP_SHA_256 签名算法，取值：RSA_PSS_SHA_256 RSA_PKCS1_SHA_256 ECDSA_SHA_256 SM2DSA MessageType string 是 RAW 消息类型，取值：RAW（默认值）：原始数据。DIGEST：原始数据的消息摘要。KMS不会对原始数据...
查看数据
原始样本：指的是联邦建模各参与方的原始数据，即各节点中授权到该建模项目中的数据，该数据作为建模样本供联邦建模使用。联邦表：对各节点中的原始样本进行分类整理，将具有相同属性的数据整合在一张表中，该表即联邦表。同一张联邦表中的...
Verify
MessageType string 是 RAW 消息类型，取值：RAW（默认值）：原始数据。DIGEST：原始数据的消息摘要。KMS不会对原始数据的消息摘要进行数据处理，将直接使用私钥进行签名。Message bytes 是 二进制数据 验签消息。当MessageType取值为RAW时...
水印使用限制
具体差异，请参见 嵌入水印是否会修改原始数据？嵌入水印算法如何选择？当待嵌入水印的字段是字符型时，请选择空格算法；当待嵌入水印的字段是数值型时，请选择修改最低有效位算法。嵌入水印是否会修改原始数据？在数据安全中心控制台配置...
概述
孪生体与物理设备之间是解耦关系，您可使用数据映射功能，将物理设备的原始数据映射到孪生体的业务模型中，即孪生节点的物模型属性上。本文介绍配置数据映射的相关概念。使用说明 数据映射由以下3部分组成：配置项 说明 数据源类型 数据源...
准备数据源和计算源
在使用Dataphin前，您需要选择符合业务场景需求的数据库或数据仓库作为数据源，用于读取原始数据和写入数据建设过程中的数据；同时您需要准备MaxCompute项目、Flink项目作为Dataphin的计算源，为数据的研发提供计算资源。准备数据源 ...
准备数据源和计算源
在使用Dataphin前，您需要选择符合业务场景需求的数据库或数据仓库作为数据源，用于读取原始数据和写入数据建设过程中的数据；同时您需要准备MaxCompute项目、Flink项目作为Dataphin的计算源，为数据的研发提供计算资源。准备数据源 ...
08批量物理化逻辑模型
ods_base_yhkh_demo_di 信用卡客户信息表（原始数据）ODS/基础信息 dwd_xykyw_bkjl_demo_di 信用卡办卡记录 DWD/信用卡业务域 dwd_xykyw_xfmx_demo_di 信用卡消费 DWD/信用卡业务域 dws_wp_xyk_demo_di 信用卡信息 DWS/物品域 dws_ren_kh_...
新增脱敏算法
例如，脱敏算法为变换，脱敏规则为字符串左移2位，原始数据为345678，字符串循环左移2位后的结果为567834，查看脱敏结果是否符合预期。单击 提交。说明 敏感数据默认的脱敏规则为系统内置的DEFAULT，如果您需要将新增的脱敏规则应用于敏感...
07批量导入逻辑表
模型名称 模型描述 所属模型目录 ods_base_xykbkjl_demo_di 信用卡办卡记录信息（原始数据）ODS/基础信息 ods_base_xykxfmx_demo_di 信用卡消费明细（原始数据）ODS/基础信息 dwd_khzx_khxx_demo_di 银行客户信息 DWD/客户中心域 dwd_xykyw...
配置数据脱敏
例如，原始数据为a123，安全域设置为0时，脱敏成b124，安全域设置为1时，脱敏成c234。原始数据相同时，如果安全域相同则脱敏后的数据也是相同的。当选择的 敏感数据类型 为非内置时，用户需要配置 替换字符集。替换字符集：遇到字符集中的...
代码智能推荐
说明 可以通过查看 原始数据、数据响应结果 和 组件数据示例 查看当前组件的参数字段。在智能推荐的 数据处理脚本 中进行二次编辑，确认无误后单击 应用。说明 可以通过 数据响应结果 区域，查看经过处理后的数据详情。可选，若不需要使用...
连续查询
如果数据未按照时间顺序写入原始数据表，即下一个时间窗口开始后仍然有上一时间窗口的数据零星写入，连续查询不会重新计算当前时间窗口之前的历史数据。连续查询可不指定时间窗口（Window）。不指定时间窗口（Window）时，会采用计算间隔...
产品优势
存储成本低 基于高效压缩算法有效压缩原始数据，最多可节约 90%的存储空间。使用简单 兼容 OpenTSDB 的数据访问协议，开发简单。控制台提供丰富的数据管理和运维功能，操作简单便捷，让您轻松完成日常数据管控和运维。专业运维支持 TSDB 的...
创建数仓分层
各个分层的功能介绍如下：数据引入层 ODS（Operational Data Store）ODS层用于接收并处理需要存储至数据仓库系统的原始数据，其数据表的结构与原始数据所在的数据系统中的表结构一致，是数据仓库的数据准备区。ODS层对原始数据的操作具体...
ST_ImportFrom
chunkdim string 与原始数据一致 分块的维度信息。格式为：(w,h,b)。说明 当 chunking=true 时，该参数才生效。compression string lz4 压缩算法类型。取值如下：none jpeg zlib png lzo lz4 snappy zstd jp2k Default：lz4 quality ...
ST_ImportFrom
chunkdim string 与原始数据一致 分块的维度信息。格式为：(w,h,b)。说明 当 chunking=true 时，该参数才生效。compression string lz4 压缩算法类型。取值如下：none jpeg zlib png lzo lz4 snappy zstd jp2k Default：lz4 quality ...
AnalyticDB MySQL 2.0数据导入
MaxCompute中已经没有原始数据，原始数据只存在于 AnalyticDB for MySQL 2.0集群的数据库中，可以使用两种数据迁移方式将 AnalyticDB for MySQL 2.0集群中的数据导入到 数仓版（3.0）。具体操作，请参见 数据迁移。准备工作 了解 ...
实例选型和集群规划
实例配置选型 如果有5 TB的原始数据，针对高性能分析场景，并有100并发以上的查询，建议采用SSD存储类型，单节点4核32 GB内存的实例规格，考虑到一定的存储安全水位80%，每个节点存储空间为200 GB，总共32个节点实例。云原生数据仓库...
调度设计文档
Null ods_raw_log_d 日 320170261 ods_log_info_d 原始数据脏数据清理 ods_raw_log_d ods_log_info_d320170259 日 320170262 dw_user_info_all_d 轻度汇总数据 ods_log_info_d dw_user_info_all_d 日 320170263 rpt_user_info_d 统计汇总...
典型场景
数据ETL：DLA支持Spark，提供强大的数据ETL能力，把ODS层的原始数据清洗为结构化的DW数据。机器学习：DLA支持Spark，支持开源算法库。交互式分析：DLA提供Presto交互式分析，支持BI、分析师的数据分析诉求。联邦分析：同时连接多个数据源做...
引擎简介
云原生多模数据库 Lindorm 消息引擎是Lindorm面向IoT、车联网、日志等流式数据提供的数据接入服务，支持业务原始数据高吞吐写入，并基于流引擎的实时处理能力，业务只需做简单开发，即可快速实现数据的ETL并入库到Lindorm宽表引擎。...
预测函数
该示例重点关注 NOAA_water_database 数据集的如下数据：SELECT"water_level"FROM"NOAA_water_database"."autogen"."h2o_feet"WHERE"location"='santa_monica' AND time>='2015-08-22 22:12:00' AND time步骤一：匹配原始数据的趋势 编写...
基本概念
pyramid 栅格金字塔，是原始栅格对象的缩减采样版本，可以包含多个缩减采样图层，金字塔的各个连续图层均以2：1的比例进行缩减采样，第0层代表原始数据。pyramid level 栅格金字塔层级。mosaic 栅格镶嵌，将多个输入栅格镶嵌到现有栅格数据...
成本
压缩表可以有效节约存储空间，如果采用ZSTD压缩算法，可节约大约75%存储空间，即1GB的原始数据仅仅需要250MB左右的物理存储空间。如采用LZ4压缩算法，可节约大约60%的存储空间，即1GB的原始数据仅仅需要400MB的物理存储空间。通过存储压缩...
基本概念
pyramid 栅格金字塔，是原始栅格对象的缩减采样版本，可以包含多个缩减采样图层，金字塔的各个连续图层均以2：1的比例进行缩减采样，第0层代表原始数据。pyramid level 栅格金字塔层级。mosaic 栅格镶嵌，将多个输入栅格镶嵌到现有栅格数据...
互联网、电商行业离线大数据分析
通过DataWorks对原始数据进行处理，并形成开放API。以API的形式通过DataV在大屏上展示结果数据。方案优势 大规模存储：超大规模存储且自动扩容，最大可以支持EB级别的数据。高性能：性能更加高效、稳定。低成本：与自建数据库进行分析相比...
基本概念
pyramid 栅格金字塔，是原始栅格对象的缩减采样版本，可以包含多个缩减采样图层，金字塔的各个连续图层均以2：1的比例进行缩减采样，第0层代表原始数据。pyramid level 栅格金字塔层级。mosaic 栅格镶嵌，将多个输入栅格镶嵌到现有栅格数据...
基本概念
pyramid 栅格金字塔，是原始栅格对象的缩减采样版本，可以包含多个缩减采样图层，金字塔的各个连续图层均以2：1的比例进行缩减采样，第0层代表原始数据。pyramid level 栅格金字塔层级。mosaic 栅格镶嵌，将多个输入栅格镶嵌到现有栅格数据...
配置用户组
成功创建用户组后，您可以使用 数据脱敏管理 功能，配置目标脱敏规则的白名单，将该用户组添加至白名单中，则使用目标脱敏规则进行脱敏的数据，对该用户组中的用户仍然显示为脱敏前的原始数据。配置脱敏规则的白名单，详情请参见 创建数据...
应用场景
数据脱敏 支持通过灵活多样的内置或自定义脱敏算法，支持生产类敏感数据脱敏到开发测试等非生产环境使用的静态脱敏场景，同时也支持原始数据不做调整，返回数据动态脱敏的场景，并确保脱敏后的数据保真可用。数据审计 智能解析数据库及大...
纠删码
它能通过一定的算法将k个原始数据块计算出m个冗余数据块，只要在这 k+m 个数据块中选择任意k个数据块就能计算得到所有的原始数据。当 k=4，m=2 时，在存储效率上等价于1.5副本，并可以允许最多2个数据块损坏。因此纠删码相比于多副本，可以...
深度解析Lindorm搜索索引（SearchIndex）特性
索引预处理 基于索引列的元信息将新插入或者更新的原始数据转换为索引数据，并且针对不同的场景可以选择与之匹配的Mutability属性，比较典型的例如日常监控，数据写入后不更新，可以选择Immutable模式，直接生成索引原始数据；而那些有状态...
离线同步读取MongoDB数据
附录1：同步过程中的数据格式转换说明 数组类型数据转换为JSON格式输出：col_array_to_json MongoDB原始数据 字段映射配置 输出至MaxCompute的结果 {"col_array_to_json":["a","b"]} {"name":"col_array_to_json","type":"string"} 字段...
创建数据脱敏规则
例如，原始数据为a123，安全域设置为0时，脱敏成b124，安全域设置为1时，脱敏成c234。原始数据相同时，如果安全域相同则脱敏后的数据也是相同的。当选择的 敏感数据类型 为非内置时，用户需要配置 替换字符集。替换字符集：遇到字符集中的...
- 产品推荐
- 这些文档可能帮助您