应用场景
数据脱敏 支持通过灵活多样的内置或自定义脱敏算法，支持生产类敏感数据脱敏到开发测试等非生产环境使用的静态脱敏场景，同时也支持原始数据不做调整，返回数据动态脱敏的场景，并确保脱敏后的数据保真可用。数据审计 智能解析数据库及大...
实例选型和集群规划
列存储支持较高的数据压缩率，可以达到2~5倍的压缩比，即对于1 TB原始数据，入库后若采用了列存储压缩设置，数据在0.5 TB以内，那么可以按1 TB的用户数据存储空间来规划集群实例规格。云原生数据仓库PostgreSQL版也支持OSS外表的扩展，可...
数据脱敏
动态脱敏通常用于生产环境，可以保持原始数据的完整性和准确性，同时避免了数据泄露的风险。动态脱敏的缺点是处理速度较慢，可能会影响数据库的查询效率。静态脱敏：对敏感数据进行预处理，将处理后的数据替换原始数据存储在数据库等存储...
概述
如需加工计算设备原始数据，可以先将设备数据转入到数据分析任务中进行更复杂的处理，并将数据解析的目标节点配置为IoT孪生空间，再使用输出文件完成数据映射，如下图所示。重要 数据解析的输出数据格式中 payload 和 ts 是系统字段，分别...
代码智能推荐
说明 可以通过查看 原始数据、数据响应结果 和 组件数据示例 查看当前组件的参数字段。在智能推荐的 数据处理脚本 中进行二次编辑，确认无误后单击 应用。说明 可以通过 数据响应结果 区域，查看经过处理后的数据详情。可选，若不需要使用...
新建普通维度逻辑表
您可以选择 保留原始缺联数据 和 缺联数据使用默认值代替：保留原始缺联数据：创建派生指标时，保留左表原始数据。缺联数据使用默认值代替：主表中的字段没有与维度逻辑表关联上，则使用默认值-110。编辑维度角色 角色英文名、角色名称 ...
新建普通维度逻辑表
您可以选择 保留原始缺联数据 和 缺联数据使用默认值代替：保留原始缺联数据：创建派生指标时，保留左表原始数据。缺联数据使用默认值代替：主表中的字段没有与维度逻辑表关联上，则使用默认值-110。编辑维度角色 角色英文名、角色名称 ...
新建事实逻辑表
您可以选择 保留原始缺联数据 和 缺联数据使用默认值代替：保留原始缺联数据：创建派生指标时，保留左表原始数据。缺联数据使用默认值代替：维表中的字段没有与事实逻辑表关联上，则使用默认值-110。编辑维度角色 角色英文名、角色名称 ...
新建事实逻辑表
您可以选择 保留原始缺联数据 和 缺联数据使用默认值代替：保留原始缺联数据：创建派生指标时，保留左表原始数据。缺联数据使用默认值代替：维表中的字段没有与事实逻辑表关联上，则使用默认值-110。编辑维度角色 角色英文名、角色名称 ...
流式数据通道概述
热数据存储量会出现增长情况：在开启异步处理的场景下（Merge或Zorder），MaxCompute流式数据通道服务会对最近一小时写入的数据保存两份，一份为原始数据，一份为异步聚合后的数据，数据的存储量会有一定程度的冗余。冗余数据的保存周期...
Tunnel命令常见问题
建议规范原始数据后再执行上传操作。如何在Shell脚本中将一个TXT文件中的数据上传到MaxCompute的表中？在系统的命令行执行窗口，您可以通过指定参数快速执行上传操作，上传数据至MaxCompute表的命令如下。\odpscmd\bin>odpscmd-e"tunnel ...
常见问题
数据水印将标记信息嵌入原始数据，在不影响数据使用的前提下，生成水印和添加数据标记，可对泄露数据溯源，避免内部人员泄露数据但是无法对事件定责追溯的问题，提高数据安全性和溯源能力。数据安全中心通过水印技术，可以定位泄露的数据、...
常见问题
如果开启后，非空原始数据的列类型变换为NULL，则会被过滤。如何选择数据模型？StarRocks的数据模型主要有以下四种，您可以根据实际情况选择。数据模型 适用场景 duplicate key 数据更新不频繁。查询模式灵活没有预聚合的模式。需要保留...
SQL其他常见问题
由于复杂结构的超大字段在数据开发和分析中会严重影响计算性能，因此建议根据数据仓库建设规范来设计您的数据架构，避免出现超大字段：具有复杂结构的原始数据，作为ODS层，最好以压缩的方式归档。定时（例如每天）对ODS层的增量数据做数据...
加工数据
本文为您介绍如何通过DataWorks加工采集至MaxCompute的...后续步骤 现在，您已经学习了如何创建SQL任务、如何处理原始数据。您可以继续下一个教程，学习如何通过机器学习，载入处理好的数据并构建窃漏电用户的识别模型。详情请参见 数据建模。
PolarDB PostgreSQL版间的迁移
通过数据传输服务DTS（Data Transmission Service），可以实现 PolarDB PostgreSQL版 集群间的迁移。前提条件 已创建源和目标 PolarDB PostgreSQL版 数据库集群，详情请参见 创建PolarDB PostgreSQL版数据库集群。已将源和目标 PolarDB ...
离线同步常见问题
解决方案：针对产生乱码的不同原因，选择相应的解决方法：如果您的原始数据乱码，需首先处理好原始数据，再进行同步任务。数据库和客户端编码格式不一致，需先修改编码格式。浏览器编码和数据库或客户端编码格式不一致，需先统一编码格式，...
PolarDB PostgreSQL版（兼容Oracle）间的迁移
通过数据传输服务DTS（Data Transmission Service），可以实现 PolarDB PostgreSQL版（兼容Oracle）集群间的迁移。背景信息 PolarDB PostgreSQL版（兼容Oracle）作为一款企业级关系型数据库管理系统，具有广泛的应用和强大的社区支持。每个...
概述
仪表盘是数据分析和数据展示的画布，在仪表盘中可以做实时的数据分析，也可以将数据制作为报表进行展示或分享。大屏是针对大屏幕的特殊数据展示画布，支持灵活自定义的样式配置。应用场景 安全自助式数据分析 基于DMS安全管控底座，确保...
资产安全概述
场景3：脱敏白名单的灵活运用 您可以使用资产安全的脱敏白名单功能，实现特定时间、特定的用户可以看到最原始的数据。例如：在某一时间段内，公司高管需要查看明文的财务数据，您可以将该高管设置在脱敏白名单中及设定有效时间段。在电商...
资产安全概述
场景3：脱敏白名单的灵活运用 您可以使用资产安全的脱敏白名单功能，实现特定时间、特定的用户可以看到最原始的数据。例如：在某一时间段内，公司高管需要查看明文的财务数据，您可以将该高管设置在脱敏白名单中及设定有效时间段。在电商...
常见问题
数据迁移 搜索索引数据可以通过LTS迁移吗？什么是搜索索引？搜索索引是宽表引擎的一种新型索引，可以对查询进行加速。主要面向复杂的多维查询场景，能够覆盖分词、模糊查询、聚合分析、排序翻页、向量检索等场景。详细介绍，请参见 搜索...
配置同步任务（新控制台）
否，适配gh-ost：不同步Online DDL变更产生的临时表数据，只同步源库使用gh-ost执行的原始DDL数据，同时您可以使用默认的或者自行配置gh-ost影子表和无用表的正则表达式。说明 该方案会导致目标库锁表。说明 本配置仅适用于源为自建MySQL、...
PolarDB MySQL版同步至AnalyticDB MySQL 3.0
使用数据传输服务DTS（Data Transmission Service），可以帮助您将 PolarDB MySQL版 集群同步至 云原生数据仓库AnalyticDB MySQL版 3.0，帮助您快速构建企业内部BI、交互查询、实时报表等系统。前提条件 已创建源 PolarDB MySQL版 集群，...
RDS MySQL同步至AnalyticDB MySQL 3.0
使用数据传输服务DTS（Data Transmission Service），可以帮助您将 RDS MySQL 同步至 云原生数据仓库AnalyticDB MySQL版 3.0，帮助您快速构建企业内部BI、交互查询、实时报表等系统。前提条件 已创建源 RDS MySQL 实例，创建方式，请参见 ...
RDS MySQL迁移至Elasticsearch
Elasticsearch与关系型数据库的映射关系如下表所示：Elasticsearch 关系型数据库 索引（index）数据库（Database）文档类型（type）表（Table）文档（document）一行数据（Row）字段（field）一列数据（Column）映射（mapping）数据库的...
创建导出任务
如果日志库尚未做任何数据加工，日志服务会提示是否先完成日志的数据加工再进行投递，如果日志记录很规范，也可以选择不经加工直接投递到TSDB。如下图所示，请参考参数信息填写任务配置项：参数名 说明 投递名称 任务名称（唯一）。投递...
深度解析Lindorm搜索索引（SearchIndex）特性
全量构建快 对于已有的历史数据，可以借助LTS的全量任务运行机制，高效的从宽表中获取原始数据生成索引，TB级别的数据量分钟内即可完成索引构建。数据快速校验 支持对已有数据的比对校验，可以快速筛选出不一致的索引数据，帮助业务及时...
Presto FAQ
原因：您的RDS实例做过数据迁移，页面显示的实例ID不是真实的ID。解决方案：您可以添加一个属性 USE_VPC_CLOUD_INSTANCE_ID='true'。示例代码如下。CREATE SCHEMA `test_db` WITH DBPROPERTIES(CATALOG='mysql',LOCATION='jdbc:mysql:/rm-...
修改导出任务
用户已经配置的数据导出任务，如果需要修改配置参数，可以通过控制台页面进行操作。使用条件 用户需要同时购买日志服务和TSDB。日志服务和TSDB必须在同一个区域，目前暂不支持跨区域数据交互。用户已经成功创建数据导出任务。任务更新 用户...
PolarDB MySQL版同步至Elasticsearch
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将 PolarDB MySQL版 集群的数据同步至 Elasticsearch 实例。前提条件 已创建存储空间大于源 PolarDB MySQL版 的目标 Elasticsearch 实例。具体操作，请参见 创建阿里云...
DAS Auto Scaling弹性能力
数据库自治服务DAS的Auto Scaling是以数据库实例的实时性能数据作为输入，由DAS完成流量异常发现、合理数据库规格建议和合理磁盘容量建议，使数据库服务具备自动扩展存储和计算资源的能力。背景信息 为业务应用选择一个合适的数据库计算...
数据脱敏
本文介绍数据安全中心数据脱敏功能相关的常见问题和解决方案。静态脱敏是否对原始数据有影响？没有影响。静态脱敏功能只会对数据进行读取、脱敏后保存到您选择的目标位置，不会对源数据进行改动。是否支持脱敏图片类型的数据？不支持。
应用场景
背景信息 设备将原始数据通过 MQTT 协议发送到物联网平台，经由物联网平台将数据转发到消息服务系统，继而通过流计算系统对这些数据进行实时计算处理后写入到 TSDB 中存储，或者经由物联网平台直接将原始数据写入 TSDB 中存储。前端的监控...
07批量导入逻辑表
模型名称 模型描述 所属模型目录 ods_base_xykbkjl_demo_di 信用卡办卡记录信息（原始数据）ODS/基础信息 ods_base_xykxfmx_demo_di 信用卡消费明细（原始数据）ODS/基础信息 dwd_khzx_khxx_demo_di 银行客户信息 DWD/客户中心域 dwd_xykyw...
AnalyticDB MySQL 2.0数据导入
数据迁移场景 MaxCompute中存在原始数据，可以通过外表将MaxCompute中的历史数据导入到 数仓版（3.0）中。具体操作，请参见 通过外表导入至数仓版。MaxCompute中已经没有原始数据，原始数据只存在于 AnalyticDB for MySQL 2.0集群的数据库...
产品优势
存储成本低 基于高效压缩算法有效压缩原始数据，最多可节约 90%的存储空间。使用简单 兼容 OpenTSDB 的数据访问协议，开发简单。控制台提供丰富的数据管理和运维功能，操作简单便捷，让您轻松完成日常数据管控和运维。专业运维支持 TSDB 的...
调度设计文档
Null ods_raw_log_d 日 320170261 ods_log_info_d 原始数据脏数据清理 ods_raw_log_d ods_log_info_d320170259 日 320170262 dw_user_info_all_d 轻度汇总数据 ods_log_info_d dw_user_info_all_d 日 320170263 rpt_user_info_d 统计汇总...
逻辑数仓
为解决上述问题，数据管理DMS推出了逻辑数仓功能，用户可以在不搬迁原始数据的前提下将多种异构数据源进行逻辑上的融合，形成一个逻辑仓，然后通过DMS内置的跨库查询引擎（支持SQL）创建逻辑视图进行数据的融合分析。这种方式避免了繁琐的...
查看数据
原始样本：指的是联邦建模各参与方的原始数据，即各节点中授权到该建模项目中的数据，该数据作为建模样本供联邦建模使用。联邦表：对各节点中的原始样本进行分类整理，将具有相同属性的数据整合在一张表中，该表即联邦表。同一张联邦表中的...
- 产品推荐
- 这些文档可能帮助您