场景：配置增量数据离线同步任务
离线同步任务支持您通过配置类似的数据过滤功能来决定同步全量数据还是增量数据，配置过滤条件时，将只同步满足过滤条件的数据。同时，过滤条件可以结合调度参数使用，实现过滤条件随任务调度时间的动态变化，进而实现增量数据的同步。该...
通过自定义模型识别
后续您可以使用该规则模型发现您数据资产中与该模型的特征内容类似的数据。说明 DataWorks不支持对数据量小于10条，并且数据长度小于4大于40的样本字段进行模型训练。DataWorks不支持对包含中文字符（包括中文标点符号）的样本字段进行模型...
使用Spark处理JindoFS上的数据
Spark中读写JindoFS上的数据，与处理其他文件系统的数据类似，以RDD操作为例，直接使用jfs的路径即可：val a=sc.textFile("jfs:/emr-jfs/README.md")写入数据：scala>a.collect().saveAsTextFile("jfs:/emr-jfs/output")SparkSQL 创建数据...
DLF中数据入湖功能停止更新公告
本文为你说明DLF中的数据入湖功能停止更新说明...建议 如果您有类似数据入湖的场景，可以使用如下的解决方案来实现数据的实时入湖以及离线入湖场景：实时计算Flink版：参考如 MySQL CDC DataStream Connector。DataWorks产品：数据集成概述。
索引加速
使用示例 将一行数据的前36个字节作为这行数据的前缀索引。当遇到VARCHAR类型时，前缀索引会直接截断，示例如下。以下表结构的前缀索引为 user_id(8 Bytes)+age(4 Bytes)+message(prefix 20 Bytes)。ColumnName Type user_id BIGINT age ...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
场景：跨账号创建数据源
说明 您可根据跨账号添加的数据源在A工作空间的使用场景，提前为RAM角色授权与相关权限，例如，若要在A工作空间查询B工作空间数据源下的表，需确保数据源配置的RAM角色已拥有该表的SELECT权限。账号A：使用账号B的用户信息创建数据源 说明 ...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
Cassandra数据类型
数字数据类型（Numeric Data Types）CQL支持的数字数据类型包括整型和浮点型，这些数据类型和Java的标准数据类型类似。包括以下几种：int：32位有符号整型，和Java中的int类似；bigint：64位长整型，和Java中的long类似；smallint：16位有...
2023年
SkewJoin Hint可以通过自动或手动方式获取两张表的热点key，分别计算热点数据和非热点数据的Join结果并合并，加快Join的执行速度。SKEWJOIN HINT 2023年11月更新记录 时间 特性 类别 描述 产品文档 2023-11-24 新增迁移服务（MMA）新说明 ...
核心概念
统计粒度 统计分析的对象或视角，用于圈定数据的统计范围，您也可以理解为聚合运算时的分组条件（类似于SQL中Group By的对象）。统计粒度也被称为粒度，是维度或维度的组合，是派生指标构建的核心元素，同时也可以唯一标识汇总逻辑表。例如...
数据质量教程概述
业务场景 要保证业务数据质量，首先您需要明确数据的消费场景和加工链路。本教程使用的数据来源于某网站上的HTTP访问日志。基于这份网站日志，您可以统计并展现网站的浏览次数（PV）和独立访客（UV），并能够按照用户的终端类型（如Android...
数据质量教程概述
业务场景 要保证业务数据质量，首先您需要明确数据的消费场景和加工链路。本教程使用的数据来源于某网站上的HTTP访问日志。基于这份网站日志，您可以统计并展现网站的浏览次数（PV）和独立访客（UV），并能够按照用户的终端类型（如Android...
同步 OceanBase 数据库的数据至 DataHub
参数 描述 读取并发配置 该参数用于配置全量同步阶段从源端读取数据的并发数，最大限制为 512.并发数过高可能会造成源端压力过大，影响业务。写入并发配置 该参数用于配置全量同步阶段往目标端写入数据的并发数，最大限制为 512。并发数过...
使用AWR
自动负载信息库AWR（Automatic Workload ...PolarDB除了提供 查看视图 中的实时视图和函数外，还提供对这些实时视图采集后保存的历史数据，通过这些数据可以生成类似Oracle的AWR报告，关于历史数据及AWR报告的详细说明请参见 AWR使用说明。
新建微应用
微应用主要为用户提供了一个可以轻量化运用模型的场景。本文介绍如何新建微应用。前提条件 已新建离线模型，具体操作，请参见 新建离线模型。操作步骤 登录 数据资源平台控制台。在页面左上角单击 图标，选择 探索。在顶部菜单栏，单击 ...
逻辑数仓
逻辑视图（Logical VIEW）类似于数据库普通视图，逻辑视图定义了数据的加工计算过程，不存放数据，仅存放定义。查询逻辑视图时，逻辑视图从源端提取数据，在DMS计算引擎中进行加工（如：Join、聚合、过滤、计算等），然后展示数据，把复杂...
敏感数据保护
Dataphin支持敏感数据的识别和敏感数据的脱敏保护，可以结合权限管控方案一起，构建起完善的敏感数据保护体系。数据分类分级 Dataphin支持对数据的分类分级进行管理，内置了常用的个人信息数据分类，同时支持客户自定义企业的数据分类分级...
敏感数据保护
Dataphin支持敏感数据的识别和敏感数据的脱敏保护，可以结合权限管控方案一起，构建起完善的敏感数据保护体系。数据分类分级 Dataphin支持对数据的分类分级进行管理，内置了常用的个人信息数据分类，同时支持客户自定义企业的数据分类分级...
标签对象
用途 标签对象 算子用于从和读数据表算子类似可以作为下游节点输入数据的来源，区别是标签算子的数据表是固定的，一个标签算子会由1到N张表连接而成。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 RDS/MySQL 是 使用...
产品功能
TSDB 提供时序数据的高效读写。对于百万数据点的读取，响应时间小于 5 秒，且最高可以支撑每秒千万数据点的写入。数据写入 TSDB 支持通过 HTTP 协议和 TSDB Java Client 两种方式进行数据写入。数据查询 TSDB 支持通过 HTTP 协议、TSDB ...
查看敏感数据识别结果
数据安全中心支持以 数据对象、数据库实例为基本单位查看敏感数据的扫描结果。本文介绍如何查看数据对象、数据库实例的敏感数据识别结果。查看数据对象的识别结果 说明 您可以在 数据检索 页面和 数据识别 页面查看敏感数据识别结果。本文...
概述
AnalyticDB PostgreSQL版 向量分析可以通过AI算法提取非结构化数据的特征，并利用特征向量作为非结构化数据的唯一标识，帮您快速且低成本地实现对非结构化数据检索和对结构化数据关联分析。向量数据库简介 在现实世界中，绝大多数的数据都...
应用场景
构建数据中台，行业领域模型快速沉淀 场景：快速构建数据仓库，有效治理数据质量，实现政企客户各部门数据的业务协同和共享。痛点：以政务服务为例，政务服务部门众多，业务系统复杂、流程长，数据来源多且更新频率高；数据口径标准、数据...
使用场景
数据清洗与加工 DMS任务编排可以用于数据清洗和加工任务的编排和执行，如数据清洗、数据匹配、数据合并、数据转换等，确保数据的准确性和完整性。数据集成与汇总 使用DMS任务编排集成和汇总不同数据源的数据，进行数据聚合和分析，生成报表...
创建元数据
如果业务数据的字段类型不在上述字段类型范围内，推荐 您选择String。Rowkey描述：填写对Rowkey字段的简单描述。列字段配置 新建列字段 列簇名称：配置为HBase业务数据源中实际的列簇名称。列字段名称：配置为HBase业务数据源中实际的列...
冷数据归档
冷数据的判定标准如下：当前时间-数据的时间戳>=冷热分界线(天)设置冷热分界线的方法 有以下两个方式设置冷热分界线：通过SQL语句在Database的创建或修改中设置冷热分界线。说明 通过SQL设置冷热分界线的方法可参见 CREATE DATABASE 或 ...
资产安全概述
相关概念 模块 概念 概念解释 敏感数据识别 数据分级 数据分级是对数据的敏感等级的设定，用于对数据的敏感等级进行区分。Dataphin内置了 L1（对外公开）-L4（绝密数据）的通用数据分级；同时也支持客户根据企业情况进行自定义分级。数据...
资产安全概述
相关概念 模块 概念 概念解释 敏感数据识别 数据分级 数据分级是对数据的敏感等级的设定，用于对数据的敏感等级进行区分。Dataphin内置了 L1（对外公开）-L4（绝密数据）的通用数据分级；同时也支持客户根据企业情况进行自定义分级。数据...
敏感数据溯源
DataWorks的数据溯源功能，支持通过提取数据泄露文件中数据的水印信息，帮助您定位到可能会泄露目标数据的责任人。本文为您介绍如何创建溯源任务，并通过该任务查找可能会泄露数据的责任人。前提条件 已创建 数据识别规则，详情请参见 配置...
创建数据流
单击 数据过滤 节点，在页面下方的 数据过滤 页签中配置数据的 过滤条件表达式。例如，在过滤条件表达式文本框中输入 name='小明'。说明 您可以直接在输入框中输入过滤条件，也可以双击函数列表的函数辅助编写。配置数据输出节点。说明 ...
数据页面管理
在管理数据页面中，数据的类型分为 矢量、栅格、地理服务、三维模型、三维瓦片 和 业务数据 六种。本文介绍数据页面中各个数据功能的使用方法。数据页面分为两大模块，包括 我的数据分组 和 数据管理 页面。我的数据分组 在 我的数据分组 ...
数据页面管理
在管理数据页面中，数据的类型分为 矢量、栅格、地理服务、三维模型、三维瓦片 和 业务数据 六种。本文介绍数据页面中各个数据功能的使用方法。数据页面分为两大模块，包括 我的数据分组 和 数据管理 页面。我的数据分组 在 我的数据分组 ...
外部数据
本文介绍了外部数据的相关内容。简介 本数据库实现了部分的 SQL/MED 规定，允许我们使用普通 SQL 查询来访问位于本地数据库之外的数据。这种数据被称为外部数据。说明 这种用法不要和外键混淆，后者是数据库中的一种约束 外部数据可以在...
冷数据归档常见问题
对普通表和分区表执行冷数据归档操作后，您可以通过以下方法查询归档后的冷数据：普通表：执行冷数据归档后，查询冷数据的方法和查询热数据的方法一致，不需要修改访问方式。分区表：执行冷数据归档后，查询冷数据的操作方法请参见 查询...
数据源管理
查看数据引用图层 选择任一数据，单击 图标，查看当前数据的引用图层，并支持跳转。查看数据表 选择任一数据，单击 图标，查看当前数据的数据表。重命名数据 选择任一数据，单击 图标下的 重命名，重命名当前数据。创建图层 选择任一数据，...
应用场景
满足GDPR要求 满足GDPR关于在海量数据中找到和保护敏感数据的要求，可对敏感数据的使用进行审计。数据安全合规检查 应相关监督部门的数据安全合规检查要求，可通过 DSC 提供的数据安全的分类分级、泄漏检测、数据脱敏等功能对数据进行相关...
备份恢复
云数据库MongoDB提供自动备份功能，以保证数据的完整可靠。备份功能 为保证数据的完整性和可靠性，数据库需要常规的自动备份来保障数据的可恢复性。MongoDB提供如下备份功能：快照备份：保留某一时间点磁盘的数据状态。能够做到在分钟级...
数据表-数据概况
功能说明 在数据表详情的数据概况标签页，基于对元数据及存储数据的统计，为您提供了数据表更加详细的指标信息，比如表存储大小、表文件总数、DDL最后更新时间、数据最后更新时间、访问次数、分区存储大小，分区文件数，分区最后更新时间等...
配置ClickHouse输出组件
同步其他数据源的数据至ClickHouse数据源的场景中，完成源数据的信息配置后，需要配置ClickHouse输出组件写入数据的目标数据源。本文为您介绍如何配置ClickHouse输出组件。前提条件 在开始执行操作前，请确认您已完成ClickHouse数据源及...
- 产品推荐
- 这些文档可能帮助您