Elasticsearch数据源
Elasticsearch数据源为您提供读取和写入Elasticsearch双向通道的功能，本文为您介绍DataWorks的Elasticsearch数据同步的能力支持情况。背景信息 Elasticsearch在公共资源组上支持Elasticsearch5.x版本，在独享数据集成资源组上支持...
07批量导入逻辑表
模型名称 模型描述 所属模型目录 ods_base_xykbkjl_demo_di 信用卡办卡记录信息（原始数据）ODS/基础信息 ods_base_xykxfmx_demo_di 信用卡消费明细（原始数据）ODS/基础信息 dwd_khzx_khxx_demo_di 银行客户信息 DWD/客户中心域 dwd_xykyw...
深度解析Lindorm搜索索引（SearchIndex）特性
索引预处理 基于索引列的元信息将新插入或者更新的原始数据转换为索引数据，并且针对不同的场景可以选择与之匹配的Mutability属性，比较典型的例如日常监控，数据写入后不更新，可以选择Immutable模式，直接生成索引原始数据；而那些有状态...
特征管理
适用场景 从原始数据直接构建机器学习模型往往比较困难。机器学习模型的输入一般会先对原始数据进行处理或计算，得到新的数据。原始数据和已加工的数据则作为特征。例如，如果我们有一个数据集，其中包含了关于房屋的信息，比如面积、卧室...
基本概念
栅格数据（Raster Data）是将地理空间分割成有规律的网格，每一个网格称为一个单元（像元或像素），并在各单元上赋予相应的属性值来表示实体的一种数据形式。栅格数据通常有两种类型的栅格数据：专题数据和影像数据。专题数据：每个栅格像...
使用DataV可视化应用展示日志服务数据
select count(1)as pv,date_format(from_unixtime(_time_-_time_%3600),'%Y/m/d%H:%i:%s')as time group by time order by time limit 1000","line":100,"offset":0 } 说明 from 和 to 是时间戳，可以用来检查 查询 中的原始数据。...
创建标签项目
贴源层：通常用来储存从业务系统中集成的原始数据，为后续的加工与开发作为数据的来源。应用层：面向业务需求，定义生成可应用于不同场景的个性化、多样化的数据指标。通用层：通常用来储存通用的汇总数据。如某个主题域下某个维度的汇总...
数据源配置概述
在开始进行用户洞察相关操作前，您需要向Quick Audience添加两种数据源，分别是计算源、分析源：计算源：原始数据首先被存储在计算源中，Quick Audience接入计算源后，每当拉取数据时，计算源将对原始数据进行用户身份识别和跨渠道数据整合...
Broker Load
对于导入的某列类型包含范围限制的，如果原始数据能正常通过类型转换，但无法通过范围限制的，Strict Mode对其也不产生影响。例如，如果类型是decimal(1,0)，原始数据为10，则属于可以通过类型转换但不在列声明的范围内，Strict Mode对其不...
按扫描量付费
压缩数据：对原始数据进行压缩来减少数据量，建议压缩格式为Parquet或者Orc格式，然后使用DLA扫描压缩过的数据，从而节省扫描费用。数据分区：通过分区的方式，把原始数据存储在不同的分区中，DLA只扫描其中的一个或者几个分区，无需扫描...
地理围栏
地理围栏是三维城市构建器的数据映射图层，用来表达面要素的区域范围，如限行区等。地理围栏支持独立的样式和数据配置，包括地理围栏的顶面侧面样式配置、围栏叠加模式等。本文介绍地理围栏配置项的含义。在场景编辑器左侧图层列表中，单击...
地理围栏
地理围栏是三维城市构建器的数据映射图层，用来表达面要素的区域范围，如限行区等。地理围栏支持独立的样式和数据配置，包括地理围栏的顶面侧面样式配置、围栏叠加模式等。本文介绍地理围栏配置项的含义。在场景编辑器左侧图层列表中，单击...
地理围栏
地理围栏是三维城市构建器的数据映射图层，用来表达面要素的区域范围，如限行区等。地理围栏支持独立的样式和数据配置，包括地理围栏的顶面侧面样式配置、围栏叠加模式等。本文介绍地理围栏配置项的含义。在场景编辑器左侧图层列表中，单击...
高压缩引擎（X-Engine）介绍
200 TB的存储空间加上X-Engine数据压缩能力，可提供500 TB以上的原始数据存储容量，同时存储空间采用Serverless方式，购买时无需选择容量，随着数据增长而在线自动扩容，只按实际数据量大小收费。PolarDB 高压缩引擎（X-Engine）与官方...
产品数据API
产品数据API包括产品下设备的快照数据API、原始数据API和事件数据API，您可以新建指定的产品数据API后，调用对应API获取产品下指定设备的原始数据、快照数据或事件数据。本文介绍如何新建和编辑产品数据API。前提条件 已创建产品和设备。...
数据脱敏
本文介绍数据安全中心数据脱敏功能相关的常见问题和解决方案。静态脱敏是否对原始数据有影响？没有影响。静态脱敏功能只会对数据进行读取、脱敏后保存到您选择的目标位置，不会对源数据进行改动。是否支持脱敏图片类型的数据？不支持。
创建通用项目
贴源层：通常用来储存从业务系统中集成的原始数据，为后续的加工与开发作为数据的来源。应用层：面向业务需求，定义生成可应用于不同场景的个性化、多样化的数据指标。通用层：通常用来储存通用的汇总数据。如某个主题域下某个维度的汇总...
创建通用项目
贴源层：通常用来存储从业务系统中集成的原始数据，为后续的加工与开发作为数据的来源。应用层：面向业务需求，定义生成可应用于不同场景的个性化、多样化的数据指标。通用层：通常用来储存通用的汇总数据。如某个主题域下某个维度的汇总...
应用场景
背景信息 设备将原始数据通过 MQTT 协议发送到物联网平台，经由物联网平台将数据转发到消息服务系统，继而通过流计算系统对这些数据进行实时计算处理后写入到 TSDB 中存储，或者经由物联网平台直接将原始数据写入 TSDB 中存储。前端的监控...
DLA Lakehouse实时入湖
DLA Lakehouse实时入湖方案利用数据湖技术，重构数仓语义；分析数据湖数据，实现数仓的应用。本文以RDS MySQL数据源为例介绍了RDS ...如果您在数据源RDS中变更了原始数据，在 Serverless Presto>SQL执行 页面进行查询时，数据会同步进行更新。
Sign
Algorithm string 是 RSAES_OAEP_SHA_256 签名算法，取值：RSA_PSS_SHA_256 RSA_PKCS1_SHA_256 ECDSA_SHA_256 SM2DSA MessageType string 是 RAW 消息类型，取值：RAW（默认值）：原始数据。DIGEST：原始数据的消息摘要。KMS不会对原始数据...
查看数据
原始样本：指的是联邦建模各参与方的原始数据，即各节点中授权到该建模项目中的数据，该数据作为建模样本供联邦建模使用。联邦表：对各节点中的原始样本进行分类整理，将具有相同属性的数据整合在一张表中，该表即联邦表。同一张联邦表中的...
水印使用限制
具体差异，请参见 嵌入水印是否会修改原始数据？嵌入水印算法如何选择？当待嵌入水印的字段是字符型时，请选择空格算法；当待嵌入水印的字段是数值型时，请选择修改最低有效位算法。嵌入水印是否会修改原始数据？在数据安全中心控制台配置...
Verify
MessageType string 是 RAW 消息类型，取值：RAW（默认值）：原始数据。DIGEST：原始数据的消息摘要。KMS不会对原始数据的消息摘要进行数据处理，将直接使用私钥进行签名。Message bytes 是 二进制数据 验签消息。当MessageType取值为RAW时...
数据模型
而其余用户的数据和原始数据保持一致。用户ID为10000的用户数据聚合后的数据解释如下。前5列没有变化，从第6列 last_visit_date 开始。2017-10-01 07:00:00：因为 last_visit_date 列的聚合方式为REPLACE，所以 2017-10-01 07:00:00 替换了...
准备数据源和计算源
在使用Dataphin前，您需要选择符合业务场景需求的数据库或数据仓库作为数据源，用于读取原始数据和写入数据建设过程中的数据；同时您需要准备MaxCompute项目、Flink项目作为Dataphin的计算源，为数据的研发提供计算资源。准备数据源 ...
准备数据源和计算源
在使用Dataphin前，您需要选择符合业务场景需求的数据库或数据仓库作为数据源，用于读取原始数据和写入数据建设过程中的数据；同时您需要准备MaxCompute项目、Flink项目作为Dataphin的计算源，为数据的研发提供计算资源。准备数据源 ...
概述
孪生体与物理设备之间是解耦关系，您可使用数据映射功能，将物理设备的原始数据映射到孪生体的业务模型中，即孪生节点的物模型属性上。本文介绍配置数据映射的相关概念。使用说明 数据映射由以下3部分组成：配置项 说明 数据源类型 数据源...
08批量物理化逻辑模型
ods_base_yhkh_demo_di 信用卡客户信息表（原始数据）ODS/基础信息 dwd_xykyw_bkjl_demo_di 信用卡办卡记录 DWD/信用卡业务域 dwd_xykyw_xfmx_demo_di 信用卡消费 DWD/信用卡业务域 dws_wp_xyk_demo_di 信用卡信息 DWS/物品域 dws_ren_kh_...
数据采样
否 按行数 按行数 按比例 随机采样-按行数、固定区域采样-按行数 参数名 参数描述 是否必填 参数默认值 参数范围 采样行数 采样原始数据的行数（该值需小于等于原始数据总行数）。否 1[0,99999999]随机采样-按比例、固定区域采样-按比例、...
新增脱敏算法
例如，脱敏算法为变换，脱敏规则为字符串左移2位，原始数据为345678，字符串循环左移2位后的结果为567834，查看脱敏结果是否符合预期。单击 提交。说明 敏感数据默认的脱敏规则为系统内置的DEFAULT，如果您需要将新增的脱敏规则应用于敏感...
配置数据脱敏
例如，原始数据为a123，安全域设置为0时，脱敏成b124，安全域设置为1时，脱敏成c234。原始数据相同时，如果安全域相同则脱敏后的数据也是相同的。当选择的 敏感数据类型 为非内置时，用户需要配置 替换字符集。替换字符集：遇到字符集中的...
连续查询
如果数据未按照时间顺序写入原始数据表，即下一个时间窗口开始后仍然有上一时间窗口的数据零星写入，连续查询不会重新计算当前时间窗口之前的历史数据。连续查询可不指定时间窗口（Window）。不指定时间窗口（Window）时，会采用计算间隔...
创建数仓分层
各个分层的功能介绍如下：数据引入层 ODS（Operational Data Store）ODS层用于接收并处理需要存储至数据仓库系统的原始数据，其数据表的结构与原始数据所在的数据系统中的表结构一致，是数据仓库的数据准备区。ODS层对原始数据的操作具体...
代码智能推荐
说明 可以通过查看 原始数据、数据响应结果 和 组件数据示例 查看当前组件的参数字段。在智能推荐的 数据处理脚本 中进行二次编辑，确认无误后单击 应用。说明 可以通过 数据响应结果 区域，查看经过处理后的数据详情。可选，若不需要使用...
AnalyticDB MySQL 2.0数据导入
MaxCompute中已经没有原始数据，原始数据只存在于 AnalyticDB for MySQL 2.0集群的数据库中，可以使用两种数据迁移方式将 AnalyticDB for MySQL 2.0集群中的数据导入到 数仓版（3.0）。具体操作，请参见 数据迁移。准备工作 了解 ...
需求分析
MySQL用户信息数据结构（ods_user_info_d）字段名称 字段说明 uid 用户名 gender 性别 age_range 年龄分段 zodiac 星座 步骤二：分析产出目标用户画像数据结构 根据原始数据分析可获得的有效数据，并基于业务需求确认最终数据表结构。...
需求分析
MySQL用户信息数据结构（ods_user_info_d）字段名称 字段说明 uid 用户名 gender 性别 age_range 年龄分段 zodiac 星座 步骤二：分析产出目标用户画像数据结构 根据原始数据分析可获得的有效数据，并基于业务需求确认最终数据表结构。...
产品优势
存储成本低 基于高效压缩算法有效压缩原始数据，最多可节约 90%的存储空间。使用简单 兼容 OpenTSDB 的数据访问协议，开发简单。控制台提供丰富的数据管理和运维功能，操作简单便捷，让您轻松完成日常数据管控和运维。专业运维支持 TSDB 的...
ST_ImportFrom
chunkdim string 与原始数据一致 分块的维度信息。格式为：(w,h,b)。说明 当 chunking=true 时，该参数才生效。compression string lz4 压缩算法类型。取值如下：none jpeg zlib png lzo lz4 snappy zstd jp2k Default：lz4 quality ...
- 产品推荐
- 这些文档可能帮助您