表删除，更新和合并
在这个部分：写入Delta表时的重复数据删除 缓慢将数据（SCD）类型2操作更改为Delta表 将更改数据写入Delta表 使用Upsert 从流式处理查询foreachBatch 写入Delta表时的重复数据删除 一个常见的ETL用例是通过将日志附加到表中来将日志收集到...
通过自定义模型识别
单击 自生成数据识别模型，进入 自生成数据识别模型 页面。新建模型并进行模型训练。单击 新建模型。配置 模型名称，并选择训练样本。选择样本：您可以从当前工作空间下，选择需要训练的样本字段，DataWorks将帮助您找到这些字段的内容特征...
数据展示
表格存储的表数据接入Grafana后，Grafana可以根据表数据生成大盘面板，将数据实时展示给需要的用户。注意事项 目前表格存储支持使用Grafana实现数据可视化功能的地域有华东1（杭州）、华东2（上海）、华北2（北京）、华北3（张家口）、华南...
对接Grafana
表格存储的表数据接入Grafana后，Grafana可以根据表数据生成大盘面板，将数据实时展示给需要的用户。注意事项 目前表格存储支持使用Grafana实现数据可视化功能的地域有华东1（杭州）、华东2（上海）、华北2（北京）、华北3（张家口）、华南...
创建数据表
如果创建数据表时未开启局部事务功能，创建数据表后需要使用该功能，请 提交工单 进行申请 或者加入钉钉群23307953（表格存储技术交流群-3）进行咨询。示例 创建数据表时不带索引 以下示例用于创建数据表。该表的主键为pk（String类型），...
数据权限配置
数据权限策略可根据不同的数据等级指定不同的审批规则，能使审批人员着重于高敏感数据，对于公开的数据，可免除审批，从而降低权限审批的负担，本文为您介绍如何配置数据权限策略。权限说明 仅支持安全管理员对数据权限策略执行添加、编辑...
数据权限配置
数据权限策略可根据不同的数据等级指定不同的审批规则，能使审批人员着重于高敏感数据，对于公开的数据，可免除审批，从而降低权限审批的负担，本文为您介绍如何配置数据权限策略。权限说明 仅支持安全管理员对数据权限策略执行添加、编辑...
教程概述
本文为您介绍当需要通过DataV...使用DataWorks的数据服务功能生成数据API。在DataV中调用数据服务API。参考文档 一分钟零代码生成API，DataWorks数据服务上手指南。DataWorks数据服务帮助文档。MaxCompute Lightning帮助文档。DataV帮助文档。
基本概念
目前DataV支持以下几种类型的组件：图表 地图 信息 表格 控件 媒体 其他 收藏组件 数据显示格式说明 下表提供了部分数据格式的示例，更多数据显示格式使用请参见：https://github.com/d3/d3-format/blob/v3.1.0/README.md#format 。...
资产目录
特殊的，如果您搜索的是数据表且数据表非Dataphin平台创建，或由于系统元数据获取延迟导致查询新建表无结果时，您可以使用点击 手动同步 获取最新的元数据信息，将指定的数据表元数据刷新至Dataphin系统中。刷新元数据详情请参见 刷新...
资产目录
特殊的，如果您搜索的是数据表且数据表非Dataphin平台创建，或由于系统元数据获取延迟导致查询新建表无结果时，您可以使用点击 手动同步 获取最新的元数据信息，将指定的数据表元数据刷新至Dataphin系统中。刷新元数据详情请参见 刷新...
生成数据API
数据服务解决从数仓到应用的“最后一公里”，将数据源中的数据表快速生成数据API，在API网关进行统一管理和发布。实现低成本、易上手、安全稳定的数据共享与开放。背景信息 为了将最终分析的结果加速查询后开放出API接口对接三方服务，本次...
DataWorks数据服务
背景信息 DataWorks数据服务旨在为您搭建统一的数据服务总线，支持快速将数据表生成数据API，并注册现有API至数据服务平台，帮助您统一管理和发布API服务。Hologres与DataWorks深度集成，支持直接对接DataWorks数据服务，帮助您快速将查询...
申请、续期和交还数据源权限
② 列表区 为您展示数据对象、环境、权限账号、权限类型、失效日期、失效原因信息，同时，您可以在 操作 列对数据表进行 申请权限 操作。申请权限：申请该数据源权限，详情请参见 申请数据源权限。权限申请记录 在 数据源权限 页面，单击 ...
申请、续期和交还数据源权限
② 列表区 为您展示数据对象、环境、权限账号、权限类型、失效日期、失效原因信息，同时，您可以在 操作 列对数据表进行 申请权限 操作。申请权限：申请该数据源权限，详情请参见 申请数据源权限。权限申请记录 在 数据源权限 页面，单击 ...
数据服务概述
创建API 将数据表快速生成数据API 数据服务支持通过可视化配置的 向导模式，将各类数据源下的数据表生成数据API，您无需具备编码能力，即可快速配置一个API。详情请参见 通过向导模式生成API。为满足高阶用户的个性化查询需求，数据服务为...
功能发布记录（2022年）
2022.11.29 所有地域 所有DataWorks用户 通过向导模式生成API DataWorks数据地图支持申请Hive表权限 DataWorks 数据地图>EMR Hive表详情 页面，新增 申请权限 按钮，支持跳转至安全中心进行表权限的申请。2022.11.29 所有地域 所有...
敏感数据保护
识别规则会按照配置的识别范围（项目、表）和数据分离的识别方式（字段内容、字段名）自动进行数据的扫描并生成敏感数据的识别结果。自动识别支持定时全量识别+实时增量识别，可以更快速更完整的识别敏感数据。手动打标 针对明确的敏感数据...
敏感数据保护
识别规则会按照配置的识别范围（项目、表）和数据分离的识别方式（字段内容、字段名）自动进行数据的扫描并生成敏感数据的识别结果。自动识别支持定时全量识别+实时增量识别，可以更快速更完整的识别敏感数据。手动打标 针对明确的敏感数据...
公开与隐藏数据表资产
将编目的数据表资产公开后，可在发现查看及申请使用，同时，可通过隐藏数据表资产停止对外展示及申请使用。...后续步骤 完成公开后，在发现查看数据表资产详情或申请使用，具体操作，请参见 查看表资产详情 和 申请表资产。
公开与隐藏数据表资产
将编目的数据表资产公开后，可在发现查看及申请使用，同时，可通过隐藏数据表资产停止对外展示及申请使用。...后续步骤 完成公开后，在发现查看数据表资产详情或申请使用，具体操作，请参见 查看表资产详情 和 申请表资产。
配置HDFS输出组件
同步其他数据源的数据至HDFS数据源的场景中，完成源数据的信息配置后，需要配置HDFS输出组件的目标数据源。本文为您介绍如何配置HDFS输出组件。前提条件 已创建HDFS数据源，如何创建，请参见 创建HDFS数据源。进行HDFS输入组件属性配置的...
从数据库表批量生成代码
为了便于在研发过程中数据模型（数据库表设计）变更后即时做代码同步，BizWorks ToolKit插件集成了Mybatis-Plus代码生成工具，支持从数据库表生成代码。本文介绍如何从数据库表批量生成代码，以及相应的配置说明和项目示例。从数据库表批量...
管理问题数据
问题数据采集最终将基于您的规则生成数据采集SQL，并在MaxCompute引擎侧执行，此过程将产生MaxCompute计算引擎费用。问题数据采集结果将存储与MaxCompute临时表中，此过程将产生MaxCompute计算引擎存储费用。保留问题数据配置入口 您可在按...
我是DBA
解决方案 数据归档 数据归档功能支持定时将大表的数据归档至其他数据库，同时支持源表数据删除、表空间整理回收等。一键建仓 一键创建实时同步的数据仓库，数据在秒级的延迟下，同步至AnalyticDB MySQL版数据库中。数据库迁移 通过创建工单...
我是管理员
数据归档 数据归档功能定时将大表的数据归档至其他数据库，支持源表数据删除、表空间整理回收等功能。数据库迁移 通过创建工单实现数据库迁移、校验和清理的闭环操作。运维管理 通知管理 可根据您的业务需求，订阅不同功能模块的消息事件，...
数据查询
如果数据表格存储的是空间数据，支持在表格的基础上开启地图模式，并实现表格和地图的双向联动。还能查看空间的元数据系统，以及支持SQL的方式进行查询浏览。同时支持对汇聚同步后的空间数据进行地图可视化浏览，支持地图、属性联动，支持...
新建及管理数据标准
数据标准是为业务、技术和管理提供服务和支持，数据标准管理的过程就是对数据以及数据的属性信息的标准化定义和应用的过程。本文为您介绍如何新建及管理数据标准。权限说明 超级管理员、数据标准管理员可以在所有标准集下新建或克隆数据...
新建及管理数据标准
数据标准是为业务、技术和管理提供服务和支持，数据标准管理的过程就是对数据以及数据的属性信息的标准化定义和应用的过程。本文为您介绍如何新建及管理数据标准。权限说明 超级管理员、数据标准管理员可以在所有标准集下新建或克隆数据...
用户角色和权限
权限功能是系统安全的重要基础保障，作为企业数据中台建设和数字化转型的核心产品，Dataphin提供了完整的权限体系，来帮助您构建完善安全的权限系统，保障数据安全。本文为您介绍Dataphin权限体系、用户和角色、角色权限概览等，帮助您了解...
用户角色和权限
权限功能是系统安全的重要基础保障，作为企业数据中台建设和数字化转型的核心产品，Dataphin提供了完整的权限体系，来帮助您构建完善安全的权限系统，保障数据安全。本文为您介绍Dataphin权限体系、用户和角色、角色权限概览等，帮助您了解...
逻辑数仓一键生成报表
您可通过 数据管理DMS 逻辑数仓的一键报表功能，轻松在Quick BI中可视化地分析逻辑数仓的查询数据。本文主要介绍如何使用一键报表功能。应用场景 该功能包含但不限于如下场景：某销售团队可以使用该功能生成销售数据报表，包括销售额、销售...
功能简介
如果数据表格存储的是空间数据，支持在表格的基础上开启地图模式，并实现表格和地图的双向联动。还能查看空间的元数据系统，以及支持SQL的方式进行查询浏览。同时支持对汇聚同步后的空间数据进行地图可视化浏览，支持地图、属性联动，支持...
功能发布记录（2023年）
新发布可视化增强分析能力 数据分析>SQL查询 支持通过增强分析功能，对分析结果执行如下操作：进行可视化展示并保存为数据卡片，生成数据报告。共享分析结果。极大提高了企业数据分析的效率。2023.08.15 华东2（上海 华东1（杭州）华北2...
文档修订记录
Tablestore数据源 Tablestore Stream数据源 2023.4.7 新增功能 数据集成 DataWorks数据集成支持使用IoT Reader插件读取物联网企业实例数据服务中提供的系统表、产品表、自定义存储表。IoT数据源 2023年3月更新记录 时间 特性 类别 描述 ...
SQL 计划任务
背景信息 OceanBase 开发者中心（OceanBase Developer Center，ODC）支持定时周期性执行用户创建的 SQL 脚本，以满足周期性执行用户所需的数据库开发和运维任务，例如周期性执行存储过程、备份和做库表结构同步等。用户在 工单 创建 SQL ...
将Excel的数据导入数据库
第1行为数据：表格首行是数据。写入方式 选择文件的写入方式：INSERT：插入数据时数据库会检查主键（PrimaryKey），如果出现重复会报错。INSERT_IGNORE：如果表中已经存在相同的记录，则忽略当前新数据；REPLACE_INTO：如果表中已经有某行...
配置FTP输出组件
同步其他数据源的数据至FTP数据源的场景中，完成源数据源的信息配置后，需要配置FTP输出组件的目标数据源。本文为您介绍如何配置FTP输出组件。前提条件 已创建FTP数据源，详情请参见 创建FTP数据源。进行FTP输出组件属性配置的账号，需具备...
配置FTP输出组件
同步其他数据源的数据至FTP数据源的场景中，完成源数据源的信息配置后，需要配置FTP输出组件的目标数据源。本文为您介绍如何配置FTP输出组件。前提条件 已创建FTP数据源，详情请参见 创建FTP数据源。进行FTP输出组件属性配置的账号，需具备...
数据加密
为了保证表数据安全，表格存储 提供了数据落盘加密功能。您可以在创建数据表时配置数据表加密。背景信息 创建数据表时默认不加密，如果要配置数据表加密，需要在创建数据表时配置加密相关参数。表格存储 提供基于密钥管理服务（Key ...
- 产品推荐
- 这些文档可能帮助您