创建Impala数据源
背景信息 Impala是用于处理存储在Hadoop集群中大量数据的SQL查询引擎。如果您使用的是Impala，在导出Dataphin数据至Impala，您需要先完成Impala数据源的创建。更多Impala信息，请参见 Impala官网。权限说明 Dataphin仅支持 超级管理员、...
配置MaxCompute输入组件
同步MaxCompute数据源的数据至其他数据源的场景中，您需要先配置MaxCompute输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置MaxCompute输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建...
创建MaxCompute数据源
以Serverless架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，使您可以经济并高效地分析处理海量数据。更多详情请参见 什么是MaxCompute。权限说明 Dataphin仅支持 超级...
步骤二：规划数仓
计算源：为数据的处理提供计算及存储资源。项目：项目是Dataphin的基本组织单元，是进行多用户隔离和访问控制的主要边界。本教程以 dataphin_tutoria l为例，作为项目名称。数据源：业务数据中读取原始数据和写入数据仓库过程中的数据。...
步骤二：规划数仓
计算源：为数据的处理提供计算及存储资源。项目：项目是Dataphin的基本组织单元，是进行多用户隔离和访问控制的主要边界。本教程以 dataphin_tutoria l为例，作为项目名称。数据源：业务数据中读取原始数据和写入数据仓库过程中的数据。...
创建MaxCompute数据源
以Serverless架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，使您可以经济并高效地分析处理海量数据。更多详情请参见 什么是MaxCompute。权限说明 Dataphin仅支持 超级...
离线同步常见问题
使用lindorm bulk方式写入数据，是否每次都会替换掉历史数据？如何查询一个ES索引下的所有字段？MongoDB Reader是否大小写敏感？怎么配置MongoDB Reader超时时长？向包含主键自增列的目标表写入数据，需要如何配置OTS Writer？在时序模型的...
配置MaxCompute输入组件
同步MaxCompute数据源的数据至其他数据源的场景中，您需要先配置MaxCompute输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置MaxCompute输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建...
数据导入常见问题
使用Routine Load消费Kafka写入StarRocks是否能保证一致性语义？报错“Broker:Offset out of range”，该如何处理？Broker Load Broker Load是否支持再次执行已经执行成功、且处于FINISHED状态的导入作业？Broker Load导入时出现内容乱码，...
数据治理中心概述
量化评估：健康分 健康分是依据数据资产在数据生产、数据流通及数据管理中的用户行为、数据特性、任务性质等元数据，使用数据处理及机器学习等技术，对各类型数据进行综合处理和评估，通过个人、工作空间维度客观呈现数据资产状态的综合...
PolarDB HTAP实时数据分析技术解密
该执行器框架充分利用列式存储的优势，例如，以一个4096行的Batch为单位访问存储层的数据，使用SIMD指令提升CPU单核处理数据的吞吐量，所有关键算子均支持并行执行。对比MySQL原有的行存执行器，性能有数量级的提升。支持行列混合执行的...
安全基线检查
策略名称 说明 日志监控审计 数据处理的全生命周期应具备记录和监控能力，确保数据处理过程可审计、可追溯。资产应开启日志审计或日志存储等功能。该策略检测数据库是否开启了安全日志审计、日志存储等功能。身份权限管理 数据的访问和使用...
自定义区域下钻层（v3.x版本）
动作 动作 说明 请求数据接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如自定义区域下钻层配置了API数据源为 https://api.test ，传到 请求数据接口 动作的数据为 { id:'1'}，则最终请求接口为 ...
概述
主要操作步骤如下：顺序 操作步骤 详情 1 创建集群实例 当您初次使用云数据库 OceanBase 时，可申请 免费体验，开通 4C16GB 集群实例，具体操作参见 集群实例免费试用操作指引。也可使用您的已有集群，进行后续操作。2 创建 MySQL 租户 ...
DataWorks On CDP/CDH使用说明
类别 描述 相关文档 OpenAPI DataWorks开放平台的OpenAPI功能，为您提供开放API能力，通过开放API实现本地服务和DataWorks服务的交互，提升企业大数据处理效率，减少人工操作和运维工作，降低数据风险和企业成本。开放API（OpenAPI）开放...
RDS MySQL物理备份文件恢复到自建数据库
本文介绍如何使用Percona XtraBackup工具，将RDS MySQL的物理备份文件恢复到自建数据库。背景 RDS MySQL支持将实例备份文件恢复到自建数据库，当前支持物理备份文件恢复、逻辑备份文件恢复等多种方式。如何选择数据恢复方案，请参见 数据...
文档更新动态（2023年）
虚拟任务（Virtual任务）不纳入数据处理单元统计，以减少虚拟节点作为公共上下游，在进行批量节点管理场景下数据处理单元的消耗。售卖检查环节从已提交修改为已发布，减少测试任务对资源用量的影响。发布增加针对数据处理单元的发布预检和...
2023年
使用do-while节点实现复杂的数据分析 2023-09-20 新增通过跨项目数据访问实现不同地域MaxCompute项目数据迁移 新说明 本文为您介绍如何通过跨项目数据访问实现不同Region的MaxCompute项目数据迁移，包括两种使用场景：同云账号内不同Region...
交叉透视表
动作 动作 说明 请求透视表接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如交叉透视列表配置了API数据源为 https://api.test ，传到 请求透视表接口 动作的数据为 { id:'1'}，则最终请求接口为 ...
仪表盘
动作 动作 说明 请求仪表盘接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如仪表盘配置了API数据源为 https://api.test ，传到 请求仪表盘接口 动作的数据为 { id:'1'}，则最终请求接口为 ...
数据上传
本文为您介绍如何使用数据上传功能上传数据。注意事项 如您涉及跨境操作数据上传（例如，数据从中国境内传输至中国境外、数据在不同国家/地区间传输等），请提前了解相关合规声明，否则可能导致数据上传失败并将承担相应法律责任。详情请...
功能更新动态（2023年）
虚拟任务（Virtual任务）不纳入数据处理单元统计，以减少虚拟节点作为公共上下游，在进行批量节点管理场景下数据处理单元的消耗。售卖检查环节从已提交修改为已发布，减少测试任务对资源用量的影响。发布增加针对数据处理单元的发布预检和...
词云
动作 动作 说明 请求数据接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如词云配置了API数据源为 https://api.test ，传到 请求数据接口 动作的数据为 { id:'1'}，则最终请求接口为 https://api.test?id=1 ...
表流读写
保持多个流（或并发批处理作业）执行“仅一次”处理 使用文件作为流源时，可以有效地发现哪些文件是新文件 Delta表作为流源 当您将Delta表加载为流源并在流式查询中使用它时，该查询将处理表中存在的所有数据以及流启动后到达的所有新数据...
执行补数据并查看补数据实例（旧版）
执行补数据 选择补数据模式后，根据界面指引配置相关参数，配置完成单击 确定，启动补数据。不同补数据模式的配置参数存在差异，具体如下。当前节点补数据 选择当前节点作为本次补数据的任务范围。参数说明如下。参数 描述 补数据名称 平台...
什么是数据资源平台
将数据标准贯彻到数据质量分析、保障及检查的全过程中，将散乱的多源异构数据加工成标准、干净的数据资产，确保数据的完整性、一致性、准确性、可用性，通过客观量化评估指标帮助客户了解数据治理工作进程，指引数据治理工作的螺旋式上升...
静态脱敏
步骤二：查看脱敏算法说明 脱敏算法运用哈希脱敏、遮盖掩码等方式对敏感数据（如姓名、账号、手机号等）进行脱敏处理，您可查看脱敏算法的使用说明，了解其使用方式。详情请参见 脱敏算法页面介绍。步骤三：测试脱敏算法 根据上述步骤二...
静态脱敏
步骤二：查看脱敏算法说明 脱敏算法运用哈希脱敏、遮盖掩码等方式对敏感数据（如姓名、账号、手机号等）进行脱敏处理，您可查看脱敏算法的使用说明，了解其使用方式。详情请参见 脱敏算法页面介绍。步骤三：测试脱敏算法 根据上述步骤二...
【通知】控制台全新升级
功能模块 变更说明 工作台 新增工作台，为用户使用数据安全中心提供全流程配置指引，包括资产同步、资产授权管理、数据识别以及数据审计配置，流程化产品配置链路，提升资产配置效率；同时为用户提供全局敏感数据风险态势，洞察敏感数据...
制定数据治理计划
使用限制 版本限制 目前仅支持DataWorks企业版及以上版本使用数据治理计划。DataWorks各版本介绍，详情请参见 DataWorks各版本详解；购买DataWorks，详情请参见 购买指引。地域限制 目前华东2（上海）、华北2（北京）、华东1（杭州）、华南...
DataWorks On Hologres使用说明
类别 描述 相关文档 OpenAPI DataWorks开放平台的OpenAPI功能，为您提供开放API能力，通过开放API实现本地服务和DataWorks服务的交互，提升企业大数据处理效率，减少人工操作和运维工作，降低数据风险和企业成本。开放API（OpenAPI）开放...
数据归档概述
当线上数据库中的历史数据（访问率很低的数据）越来越多，占用的存储越来越大，以至于会影响数据库的查询性能与业务运转，此时您可以使用 数据管理DMS 的数据归档功能，周期性地将指定表的数据归档至其他数据库或存储服务中。同时，该功能...
资产权限审计
Dataphin支持对数据表、数据源的权限进行查看与审计，及时发现不合理的授权用户并处理，确保权限体系健康，防止权限泄露。本文为您介绍如何对数据表或数据源的权限进行查看与审计。使用限制 超级管理员、系统管理员和安全管理员支持导出...
通过整库迁移配置集成任务
离线整库迁移可用于将本地数据中心或在ECS上自建的数据库同步数据至大数据计算服务，包括MaxCompute、Hive、TDH Inceptor等数据源。本文为您介绍如何新建并配置整库迁移任务。前提条件 已完成所需迁移的数据源创建。整库迁移支持MySQL、...
资产权限审计
Dataphin支持对数据表、数据源的权限进行查看与审计，及时发现不合理的授权用户并处理，确保权限体系健康，防止权限泄露。本文为您介绍如何对数据表或数据源的权限进行查看与审计。使用限制 超级管理员、系统管理员和安全管理员支持导出...
通过整库迁移配置集成任务
离线整库迁移可用于将本地数据中心或在ECS上自建的数据库同步数据至大数据计算服务，包括MaxCompute、Hive、TDH Inceptor等数据源。本文为您介绍如何新建并配置整库迁移任务。前提条件 已完成所需迁移的数据源创建。整库迁移支持MySQL、...
基础折线图
动作 动作 说明 请求基础折线图接口描述 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如基础折线图配置了API数据源为 https://api.test ，传到 请求基础折线图接口描述 动作的数据为 { id:'1'}，则最终请求...
基础散点图
动作 动作 说明 请求基础散点图接口描述 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如散点图配置了API数据源为 https://api.test ，传到 请求基础散点图接口描述 动作的数据为 { id:'1'}，则最终请求接口为 ...
创建Kafka数据源
重要 Flink_SQL任务中使用数据源编码方式进行开发，目前仅支持MySQL、Hologres、MaxCompute、Hadoop、Oracle、StarRocks数据源。数据源编码配置成功后不支持修改。数据源描述 对数据源的简单描述。不超过128个字符。数据源配置 选择需要...
创建Kafka数据源
重要 Flink_SQL任务中使用数据源编码方式进行开发，目前仅支持MySQL、Hologres、MaxCompute、Oracle、StarRocks数据源。数据源编码配置成功后不支持修改。数据源描述 对数据源的简单描述。不超过128个字符。数据源配置 选择需要配置的数据...
- 产品推荐
- 这些文档可能帮助您