数据使用诊断
敏感数据脱敏 说明 在数据使用过程中为避免数据滥用、泄露，实现“数据可用不可见”的目的，DataWorks支持管理员配置脱敏规则，帮助企业在“安全”与“便利”之间获得平衡。数据保护伞服务 此安全检测项为您检测哪些工作空间已开启脱敏规则...
应用场景
数据脱敏 支持通过灵活多样的内置或自定义脱敏算法，支持生产类敏感数据脱敏到开发测试等非生产环境使用的静态脱敏场景，同时也支持原始数据不做调整，返回数据动态脱敏的场景，并确保脱敏后的数据保真可用。数据审计 智能解析数据库及大...
创建隐私求交
各参与方的数据通过隐私求交安全计算技术，在保证原始数据不离开节点本地的情况下，实现 ID 列求交集。隐私求交的产出仍存放在参与方各自的节点上，在多方安全建模控制台中以虚拟宽表的形式展现。说明 如果各参与方的数据当前已完成样本...
MongoDB 4.0
升级数据库大版本后，低版本的备份数据不能恢复至云数据库MongoDB实例。您可以下载备份文件，将低版本的备份数据恢复至自建数据库。如何将备份数据恢复至自建数据库，请参见 逻辑备份恢复至自建数据库 或 将MongoDB物理备份文件恢复至自建...
Stream Load
对于导入的某列类型包含范围限制的，如果原始数据能正常通过类型转换，但无法通过范围限制的，strict mode对其也不产生影响。例如，如果类型是decimal(1,0)，原始数据为10，则属于可以通过类型转换但不在列声明的范围内，strict mode对其不...
数据探索概览
说明 level description不是NOAA原始数据的一部分，我们在这里加入这个field是为了拥有具有特殊字符和特殊字符串的field value。InfluxDB® is a trademark registered by InfluxData,which is not affiliated with,and does not endorse,...
Broker Load
对于导入的某列类型包含范围限制的，如果原始数据能正常通过类型转换，但无法通过范围限制的，Strict Mode对其也不产生影响。例如，如果类型是decimal(1,0)，原始数据为10，则属于可以通过类型转换但不在列声明的范围内，Strict Mode对其不...
什么是OceanBase
OceanBase是由蚂蚁集团、阿里巴巴完全自主研发的分布式关系型数据库，始创于2010年。OceanBase具有数据强一致、高...高可用：数据采用多副本存储，少数副本故障不影响数据可用性。通过“三地五中心”部署实现城市级故障自动无损容灾。产品介绍
阶段二：数据安全防护措施及策略增强建设
在该阶段，DataWorks为您提供了新人入职自动化授权、按需申请数据权限&多级审批、数据可用而不可见、数据完整性与可用性专项治理等多个场景的最佳实践，帮助企业做好数据安全防护措施并建设更加完善的安全治理策略。场景一：新人入职自动化...
项目安全策略
关闭后，安全策略不可用。数据结果下载 用于控制数据查询结果的下载功能。关闭后，则即席查询、SQL任务等，查询出的数据，在Result中将无法直接下载获得。开启后，数据下载功能即对项目非访客角色开放，即可下载数据至本地客户端。数据读...
逻辑数仓
为解决上述问题，数据管理DMS推出了逻辑数仓功能，用户可以在不搬迁原始数据的前提下将多种异构数据源进行逻辑上的融合，形成一个逻辑仓，然后通过DMS内置的跨库查询引擎（支持SQL）创建逻辑视图进行数据的融合分析。这种方式避免了繁琐的...
基本概念
数据源 在使用DataV创建数据看板时，需要先指定原始数据所在的数据源。DataV支持多种类型的数据源：数据库类、文件类、API类等。如果您想了解如何添加数据源，请参见 添加数据源。画布 画布也叫画布编辑器，是DataV最主要的视觉功能区域。...
切换主可用区
概念介绍 主可用区（Primary Zone）：OceanBase 数据库中同一分区（partition）的数据副本分布在多个可用区中，其中分区的主副本所在的可用区称为主可用区。切换主可用区场景 在主可用区故障时，OceanBase 会根据服务情况自动将主切换至新...
PolarDB PostgreSQL版间的迁移
警告 选择为 忽略报错并继续执行，可能导致数据不一致，给业务带来风险，例如：结构一致的情况下，如在目标库遇到与源库主键或唯一键的值相同的记录：全量期间，DTS会保留目标集群中的该条记录，即源库中的该条记录不会同步至目标数据库中...
迁移时源库为MySQL的注意事项及限制
DTS要求源数据库的本地Binlog日志至少保留7天以上，否则DTS可能因无法获取Binlog而导致任务失败，极端情况下甚至可能会导致数据不一致或丢失。由于您所设置的Binlog日志保存时间低于DTS要求的时间进而导致的问题，不在DTS的SLA保障范围内。...
准备数据源和计算源
在使用Dataphin前，您需要选择符合业务场景需求的数据库或数据仓库作为数据源，用于读取原始数据和写入数据建设过程中的数据；同时您需要准备MaxCompute项目、Flink项目作为Dataphin的计算源，为数据的研发提供计算资源。准备数据源 ...
准备数据源和计算源
在使用Dataphin前，您需要选择符合业务场景需求的数据库或数据仓库作为数据源，用于读取原始数据和写入数据建设过程中的数据；同时您需要准备MaxCompute项目、Flink项目作为Dataphin的计算源，为数据的研发提供计算资源。准备数据源 ...
08批量物理化逻辑模型
ods_base_yhkh_demo_di 信用卡客户信息表（原始数据）ODS/基础信息 dwd_xykyw_bkjl_demo_di 信用卡办卡记录 DWD/信用卡业务域 dwd_xykyw_xfmx_demo_di 信用卡消费 DWD/信用卡业务域 dws_wp_xyk_demo_di 信用卡信息 DWS/物品域 dws_ren_kh_...
07批量导入逻辑表
模型名称 模型描述 所属模型目录 ods_base_xykbkjl_demo_di 信用卡办卡记录信息（原始数据）ODS/基础信息 ods_base_xykxfmx_demo_di 信用卡消费明细（原始数据）ODS/基础信息 dwd_khzx_khxx_demo_di 银行客户信息 DWD/客户中心域 dwd_xykyw...
数据保护规则简介
noneAccess：被保护数据全遮掩，不泄露任何原始数据信息。用户不具备访问数据内容的权限。默认所有用户初始化为该权限。当显式配置时，可以撤销已授权用户访问数据的权限。fullAccess：用户可访问所有被保护数据。完全明文操作，服务端返回...
迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle...
如果源端存在包含时区信息的数据类型（例如 TIMESTAMP WITH TIME ZONE），请您确保目标端数据库支持并存在源端对应的时区，否则将导致数据迁移过程中产生数据不一致的问题。库表汇聚场景下：建议您使用导入对象或匹配规则的方式映射源端和...
产品优势
存储成本低 基于高效压缩算法有效压缩原始数据，最多可节约 90%的存储空间。使用简单 兼容 OpenTSDB 的数据访问协议，开发简单。控制台提供丰富的数据管理和运维功能，操作简单便捷，让您轻松完成日常数据管控和运维。专业运维支持 TSDB 的...
ST_ImportFrom
chunkdim string 与原始数据一致 分块的维度信息。格式为：(w,h,b)。说明 当 chunking=true 时，该参数才生效。compression string lz4 压缩算法类型。取值如下：none jpeg zlib png lzo lz4 snappy zstd jp2k Default：lz4 quality ...
ST_ImportFrom
chunkdim string 与原始数据一致 分块的维度信息。格式为：(w,h,b)。说明 当 chunking=true 时，该参数才生效。compression string lz4 压缩算法类型。取值如下：none jpeg zlib png lzo lz4 snappy zstd jp2k Default：lz4 quality ...
典型场景
数据ETL：DLA支持Spark，提供强大的数据ETL能力，把ODS层的原始数据清洗为结构化的DW数据。机器学习：DLA支持Spark，支持开源算法库。交互式分析：DLA提供Presto交互式分析，支持BI、分析师的数据分析诉求。联邦分析：同时连接多个数据源做...
调度设计文档
Null ods_raw_log_d 日 320170261 ods_log_info_d 原始数据脏数据清理 ods_raw_log_d ods_log_info_d320170259 日 320170262 dw_user_info_all_d 轻度汇总数据 ods_log_info_d dw_user_info_all_d 日 320170263 rpt_user_info_d 统计汇总...
引擎简介
云原生多模数据库 Lindorm 消息引擎是Lindorm面向IoT、车联网、日志等流式数据提供的数据接入服务，支持业务原始数据高吞吐写入，并基于流引擎的实时处理能力，业务只需做简单开发，即可快速实现数据的ETL并入库到Lindorm宽表引擎。...
为什么高可用系统会触发主备切换
常见原因如下：节点不可用：云数据库MongoDB版支持节点健康状态监测，当监测到实例中的某个节点不可用，则会触发高可用切换，对节点进行切换操作（例如将Primary节点和Secondary节点进行互换），保障实例的高可用性。节点所在的机器下线：...
配置用户组
成功创建用户组后，您可以使用 数据脱敏管理 功能，配置目标脱敏规则的白名单，将该用户组添加至白名单中，则使用目标脱敏规则进行脱敏的数据，对该用户组中的用户仍然显示为脱敏前的原始数据。配置脱敏规则的白名单，详情请参见 创建数据...
快速体验
原始数据存储：云数据库 RDS MySQL（必选），本实验中DataWorks为您提供了阿里云RDS MySQL用于测试，包含了测试数据，无需您自己开通。数据传输：大数据开发治理平台 DataWorks数据集成（必选），基础版DataWorks已包含数据集成功能。大...
互联网、电商行业离线大数据分析
通过DataWorks对原始数据进行处理，并形成开放API。以API的形式通过DataV在大屏上展示结果数据。方案优势 大规模存储：超大规模存储且自动扩容，最大可以支持EB级别的数据。高性能：性能更加高效、稳定。低成本：与自建数据库进行分析相比...
修改数据复制方式
因此，在异步数据复制方式下，备实例不可用时不会影响主实例上的操作，而主实例不可用时可能会导致主备实例数据不一致。操作步骤 登录 云数据库专属集群控制台。在页面左上角，选择目标地域。在导航栏左侧，选择 实例列表>MySQL。找到目标...
查看数据
原始样本：指的是联邦建模各参与方的原始数据，即各节点中授权到该建模项目中的数据，该数据作为建模样本供联邦建模使用。联邦表：对各节点中的原始样本进行分类整理，将具有相同属性的数据整合在一张表中，该表即联邦表。同一张联邦表中的...
01新建模型目录
在 新建目录 对话框，输入目录的名称和标识，操作完成后，单击 确认，按照下面表格中数据依次新建一级、二级目录，目录配置如下：一级目录 一级目录code 目录描述 二级目录 二级目录code STG stg 客户数据源数据层-ODS ods 原始数据层 基础...
冷热数据分层存储
冷数据盘可用空间不受限制。单位：Byte。total_space 当前磁盘总空间。冷数据盘可用空间不受限制。单位：Byte。used_space 当前磁盘已经被使用的空间。单位：Byte。keep_free_space 预留的空闲空间。单位：Byte。type 存储介质。取值如下。...
概述
实时数据分析 实时数据分析指的是根据业务目标，从原始数据中抽取对应信息并整合的过程。例如，查看每天销量前10的商品、仓库平均周转时间、文档平均单击率和推送打开率等。实时数据分析则是上述过程的实时化，通常在终端体现为实时报表或...
新建租户
说明 主地址代理可用区与数据主可用区不一致时，存在一定数据延迟风险。11 VSwitch 交换机 选择主地址绑定的虚拟交换机 ID，支持查看可用私有 IP 个数。当可用私有 IP 个数为 0 时，需要重新选择 VPC 和 VSwitch。如果没有合适的 VSwitch，...
常见问题
数据水印将标记信息嵌入原始数据，在不影响数据使用的前提下，生成水印和添加数据标记，可对泄露数据溯源，避免内部人员泄露数据但是无法对事件定责追溯的问题，提高数据安全性和溯源能力。数据安全中心通过水印技术，可以定位泄露的数据、...
数仓分层
数据引入层（ODS，Operational Data Store，又称数据基础层）：将原始数据几乎无处理地存放在数据仓库系统中，结构上与源系统基本保持一致，是数据仓库的数据准备区。这一层的主要职责是将基础数据同步、存储到MaxCompute。数据公共层（CDM...
亿海蓝-航运大数据的可视化案例
原始数据使用DLA Ganos进行高效预处理，降低数据提取和结果数据再落地时间。数据抽取结果存储到Ganos on Lindorm中，Lindorm的低延迟、高性能、高吞吐查询能力保障业务能流畅显示。整体系统架构方案如下图所示：航运数据可视化分析系统架构...
- 产品推荐
- 这些文档可能帮助您