查看敏感数据血缘（公测）
DataWorks的数据血缘功能支持可视化展示敏感数据的血缘关系，自动分析字段之间的异常关联关系、敏感数据识别结果异常的字段，帮助您梳理敏感数据的扩散情况及影响面，提高数据识别效率。本文为您介绍如何查看血缘关系图。背景信息 数据血缘...
配置数据识别规则
背景信息 DataWorks支持您按照数据的敏感级别和所属分类定义数据识别规则，帮助您识别组织内的敏感数据，对于识别结果不准确的数据，您可以 手动修正数据，并在 敏感数据概况 模块为您展示最近的通过数据识别规则命中的、按照项目细分的...
概述
仪表盘是数据分析和数据展示的画布，在仪表盘中可以做实时的数据分析，也可以将数据制作为报表进行展示或分享。大屏是针对大屏幕的特殊数据展示画布，支持灵活自定义的样式配置。应用场景 安全自助式数据分析 基于DMS安全管控底座，确保...
文档修订记录
复合指标 2023.7.13 新增功能 数据集成 实时ETL同步方案根据来源Kafka指定Topic的内容结构对目的Hologres表结构做初始化，然后将Kafka指定Topic的存量数据同步至Hologres，同时也持续将增量数据实时同步至Hologres。Kafka实时ETL同步至...
PolarDB PostgreSQL版（兼容Oracle）间的迁移
通过数据传输服务DTS（Data Transmission Service），可以实现 PolarDB PostgreSQL版（兼容Oracle）集群间的迁移。背景信息 PolarDB PostgreSQL版（兼容Oracle）作为一款企业级关系型数据库管理系统，具有广泛的应用和强大的社区支持。每个...
PolarDB PostgreSQL版间的迁移
通过数据传输服务DTS（Data Transmission Service），可以实现 PolarDB PostgreSQL版 集群间的迁移。前提条件 已创建源和目标 PolarDB PostgreSQL版 数据库集群，详情请参见 创建PolarDB PostgreSQL版数据库集群。已将源和目标 PolarDB ...
管理数据树
若当前数据为栅格数据，您还可以做以下操作。查看栅格元数据：在数据表 操作 栏单击 图标，查看栅格元数据。名称 说明 坐标参考系 表示栅格的坐标系。宽度 表示栅格的分辨率中的宽度值。高度 表示栅格的分辨率中的高度值。数据类型 表示...
常见问题
数据安全中心DSC根据为不同行业预先定义的敏感数据关键字段，扫描MaxCompute、OSS、阿里云数据库服务（RDS、PolarDB-X、PolarDB、OceanBase、表格存储等）和自建数据库中的数据，通过敏感数据规则，判断和打标敏感数据，为数据安全审计、...
实时同步常见问题
这是Postgres本身数据库的特性，如果接受不了延迟，您可以停止任务，并重新启动任务做一次全增量数据同步。报错信息与解决方案 Kafka实时同步报错：Startup mode for the consumer set to timestampOffset,but no begin timestamp was ...
Quick BI
不支持添加度量到维度或不支持添加维度到度量 处理方法：数据集表定义中，维度或度量有明确定义，如果需要用度量的某列做维度，可以在数据集编辑页面单击右键，单击 转换为维度/度量，单击 保存，在仪表盘页面刷新，即可获得修改后的表结构...
管理数据集
当数据集是由数据库创建时，您可以做以下操作。单击 数据库连接 后的 设置，修改数据库连接信息。单击 数据定时同步 后的 设置，打开 启用 开关，设置 定时执行 的类型，例如：每月第一天早上10点整进行数据同步。单击 数据定时同步 后的 ...
数据质量教程概述
数据质量是数据分析结论有效性和准确性的基础。本文为您介绍数据质量保障教程的业务场景以及如何衡量数据质量的高低。前提条件 在开始本教程前，请您首先完成 搭建互联网在线运行分析平台 教程，详情请参见 业务场景与开发流程。业务场景 ...
数据质量教程概述
数据质量是数据分析结论有效性和准确性的基础。本文为您介绍数据质量保障教程的业务场景以及如何衡量数据质量的高低。前提条件 在开始本教程前，请您首先完成 搭建互联网在线运行分析平台 教程，详情请参见 业务场景与开发流程。业务场景 ...
应用场景
此外，您还可以选择数据湖构建DLF作为数据目录服务，DLF可以提供统一的元数据服务，并支持湖上数据的管理，通过DLF可以简化和加速湖上数据的治理过程。在数据湖场景下，通过采集程序，将用户的埋点日志近实时写入到OSS-HDFS，并使用Sqoop...
MySQL分库分表同步至MaxCompute
如果自动扫描的结果不符合预期，只需要对自动扫描的结果做简单修正即可。复杂的物理库表规则可以使用手动添加逻辑表功能实现。自动生成逻辑表 单击 自动生成逻辑表，在数据源列表中选择部分数据源，用作生成逻辑表的扫描数据源。在 配置...
MySQL分库分表同步至MaxCompute
如果自动扫描的结果不符合预期，只需要对自动扫描的结果做简单修正即可。复杂的物理库表规则可以使用手动添加逻辑表功能实现。自动生成逻辑表 单击 自动生成逻辑表，在数据源列表中选择部分数据源，用作生成逻辑表的扫描数据源。在 配置...
Tunnel命令常见问题
使用Tunnel Upload命令上传数据时，如果数据使用空格作为列分隔符，或需要对数据做正则表达式过滤时，如何解决？Tunnel Upload完成后，存在脏数据，如何解决？Tunnel Download Tunnel Download导出格式有哪些？在同一地域内使用Tunnel ...
添加数据
由于本示例的数据区域是全国范围，因此 裁剪边界数据接口 的数据可以保持不变。您也可以根据需要修改 裁剪边界数据接口 的数据。在 插值点数据接口 的配置页面，单击 配置数据源。在 设置数据源 页面，按照以下说明配置数据源。数据源类型...
常见问题
离线同步常见问题 离线同步任务运维常见问题 为什么数据源测试连通性成功，但是离线同步任务执行失败？如何切换数据集成任务执行资源组？脏数据如何排查和定位？如何查看脏数据？如果离线同步传输数据时，脏数据超出限制，是否所有数据都...
C100售前支持相关问题
数据库审计和其他产品的区别 数据库审计产品相对于自己安装Packetbeat抓取流量审计和RDS数据库自带的SQL洞察功能，有以下区别：支持的数据库协议：数据库审计产品是专注于数据库协议解析的，支持的数据库协议更丰富，解析的粒度更细。数据...
系统配置
您可在数据保护伞的系统配置页面，设置数据保护伞的识别内容、识别范围，水印文件保存时间，是否展示风险识别的数据安全等级，以及告警信息的接收邮件及WebHook地址，以便及时发现并处理潜在安全风险。进入系统配置页面 进入数据开发页面。...
数据库代理常见问题
数据库代理地址（读写分离地址）可以修改，具体操作，请参见 设置数据库代理连接地址。主实例写的频率不高，能不能让读请求也发送给主实例？能。设置读权重分配时，为主实例也设置权重即可。如何为主实例设置权重，请参见 开通数据库代理。...
常见问题
为什么数据写入后不可见？为什么optimize任务很慢？为什么optimize后数据仍未主键合并？为什么optimize后数据TTL仍未生效？为什么optimize后更新删除操作没有生效？如何进行DDL增加列、删除列、修改列操作？为什么DDL执行慢，经常卡住？...
资产安全概述
应用场景 基于Dataphin实现数据安全保护的一些典型的场景：场景1：业务数据中敏感数据保护 您可以使用资产安全的敏感数据识别和保护功能，脱敏明文敏感数据，保证业务数据安全。例如，姓名张三脱敏后*三。场景2：开发环境数仓建设 敏感数据...
资产安全概述
应用场景 基于Dataphin实现数据安全保护的一些典型的场景：场景1：业务数据中敏感数据保护 您可以使用资产安全的敏感数据识别和保护功能，脱敏明文敏感数据，保证业务数据安全。例如，姓名张三脱敏后*三。场景2：开发环境数仓建设 敏感数据...
常见问题
客户端在处理数据时，为了防止客户端内存溢出，可以在迭代器中获取到N条数据后，增加一个数据处理逻辑，再继续在迭代器中获取其他数据。说明 在进行数据导出时，为避免客户端在短时间对服务端发起大量查询请求，建议将同一时刻发起的导出...
常见问题
为什么数据同步的价格要高于数据迁移的价格？因为数据同步具有更多的高级特性，例如支持在线调整同步对象、支持配置MySQL数据库之间的双向数据同步；且数据同步基于内网传输，可以保证更低的网络延时。账户欠费有什么影响？账户欠费的影响...
配置项常见问题
如果您使用了 数字翻牌器 组件，数据正常返回却没有改变组件渲染，则需要检查是否在组件配置项中勾选了 数据抖动修正。如果勾选该配置项：当传入数据小于当前数据时则不改变组件渲染。若您的数据有上下浮动而且需要实时渲染当前数据时，则...
资源组操作及网络连通
数据同步网络连通问题 在做离线同步时，我们需要先了解哪些DataWorks及其网络能力？同步ECS自建的数据库的数据时，如何保障数据库与DataWorks的网络连通？数据库和DataWorks不在同一个地域（Region）下，进行数据同步时如何保障数据库与...
配置项常见问题
如果您使用了 数字翻牌器 组件，数据正常返回却没有改变组件渲染，则需要检查是否在组件配置项中勾选了 数据抖动修正。如果勾选该配置项：当传入数据小于当前数据时则不改变组件渲染。若您的数据有上下浮动而且需要实时渲染当前数据时，则...
流式数据通道概述
提供了增量数据异步处理机制，可以在使用过程中无感知情况下对新写入的增量数据做进一步处理，已经支持数据聚合（Merge）：提升存储效率。应用场景 MaxCompute流式数据通道服务应用场景如下。场景 说明 特点 大量事件日志实时写入...
离线同步常见问题
文档概述 问题分类 相关文档 离线同步任务运维常见问题 为什么数据源测试连通性成功，但是离线同步任务执行失败？如何切换数据集成任务执行资源组？脏数据如何排查和定位？如何查看脏数据？如果离线同步传输数据时，脏数据超出限制，是否...
索引优化
大数据集场景下优先考虑稀疏索引：如果您的数据量非常地大，并且您的查询限定条件为<、、=、>=、>，需要从大数据量的表中取出少于50%的数据，那么使用稀疏索引（BRIN Index或者AOCS表的metascan）可以极大地减少无效数据的加载。...
数据源管理
在数据源卡片页右上角可以做以下操作。单击修改时间，可以按 名称、修改时间 和 创建时间 对当前数据源进行排序。单击筛选，可以根据需要，筛选出特定数据源。单击搜索框，输入数据源名称，快速定位所需数据源。重命名数据源 登录 DataV...
数据集管理
在数据集卡片页右上角可以做以下操作。单击修改时间，可以按 名称、修改时间 和 创建时间 对当前数据集进行排序。单击筛选，可以根据需要，筛选出特定数据集。单击搜索框，输入数据集名称，快速定位所需数据集。重命名数据集 登录 DataV...
DLF+EMR之统一权限最佳实践
业务场景说明 某公司有一个EMR集群，期望Hive/Spark/Presto/Impala引擎可以通过统一的数据权限，控制实际业务中不同用户使用数据的权限，主要分为以下几种情况：超级管理员 拥有数据湖上数据的所有权限，以及分配权限给其他人员的能力。...
数据服务概述
数据服务作为统一的数据服务出口，实现了数据的统一市场化管理，有效地降低数据开放门槛的同时，保障了数据开放的安全。前提条件 已购买 数据服务 增值服务，开通Dataphin 常见数据应用问题 一般从需求提出到需求交付分为：需求提出-需求...
X-Engine简介
因为目标是面向大规模的海量数据存储，提供高并发事务处理能力和降低存储成本，在大部分大数据量场景下，数据被访问的机会是不均等的，访问频繁的热数据实际上占比很少，X-Engine根据数据访问频度的不同将数据划分为多个层次，针对每个层次...
离线同步并发和限流之间的关系
问题三：为什么数据同步任务运行速率有时候相较限速阈值有较大差距？同步速率：数据同步速率和任务期望最大并发数是比较强相关的参数，两者结合在一起可以保护数据来源和数据去向端的读写压力，以避免数据同步任务对数据源带来较大压力，...
产品概述
什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...
- 产品推荐
- 这些文档可能帮助您