EMR Kafka磁盘写满运维
此时，可以通过ECS实例层面的操作，将分区副本数据挪到当前Broker的其他磁盘并修改相应Kafka数据目录元数据的方式来解决故障盘空间不足的问题。适用场景 故障磁盘所在Broker使用容量不均衡、存在空间使用率较低的磁盘。注意事项 该方法只能...
资产目录
页面入口 在Dataphin首页，单击顶部菜单栏的 资产，默认进入数据 目录 页面。资产目录页面介绍 区域 描述 ① 资产搜索区 您可根据资产对象的名称或描述关键字进行搜索，详情请参见 搜索数据。② 对象列表及专题广场 对象列表：可查看不同...
资产目录
页面入口 在Dataphin首页，单击顶部菜单栏的 资产，默认进入数据 目录 页面。资产目录页面介绍 区域 描述 ① 资产搜索区 您可根据资产对象的名称或描述关键字进行搜索，详情请参见 搜索数据。② 对象列表及专题广场 对象列表：可查看不同...
数据归档
启用数据归档功能的RDS PostgreSQL实例会在数据目录之外增加一个冷存储目录/cold-data，并添加该目录对应的表空间rds_oss。rds_oss表空间中的数据存放在OSS中，pg_default表空间中的数据存放在ESSD中。开启RDS PostgreSQL数据归档功能后，...
应用场景
此外，您还可以选择数据湖构建DLF作为数据目录服务，DLF可以提供统一的元数据服务，并支持湖上数据的管理，通过DLF可以简化和加速湖上数据的治理过程。在数据湖场景下，通过采集程序，将用户的埋点日志近实时写入到OSS-HDFS，并使用Sqoop...
EMR+DLF数据湖解决方案
支持按照数据目录/数据库/数据列/函数等资源的各种细粒度权限点的可视化配置。支持与EMR中多种计算引擎集成，包括Spark/Hive/Presto/Impala多种计算引擎。提供丰富的数据湖管理能力。支持多种维度的数据生命周期管理，可以对数据按照冷热，...
功能更新动态（2023年）
数据目录、个人中心、数据表基本信息中支持展示表字段的最高数据分级。创建、配置及手动触发识别规则 资产目录 个人数据中心 标签工厂 标签离线服务任务支持跨项目选择目标表。支持使用非本项目下的物理表作为来源表创建离线视图。离线视图...
DLA Lakehouse实时入湖
包括：数据目录加前缀，元数据中库表名加前缀 数据目录不加前缀，元数据中库表名加前缀 库表过滤 设置需要同步的库和表范围。排除的优先级高于包含。目标端主键字段 为指定库表设置主键字段。例如：库表选择输入 db1.user_*，主键字段输入 ...
规划工作空间
所有工作空间共享一套数据安全策略和敏感数据目录。若数据保护伞的“高级安全模式”开启，则只有各工作空间的“安全管理员”具备操作数据保护伞的权限。工作空间规划实践 工作空间规划可按照公司部门、公司业务或数仓层次进行规划，或综合...
基于Delta lake的一站式数据湖构建与分析实战
数据湖能够将这些不同来源、不同格式的数据集中存储管理在高性价比的存储如 OSS等对象存储中，并对外提供统一的数据目录，支持多种计算分析方式，有效解决了企业中面临的数据孤岛问题，同时大大降低了企业存储和使用数据的成本。...
文档更新动态（2023年）
数据目录、个人中心、数据表基本信息中支持展示表字段的最高数据分级。更新说明 创建、配置及手动触发识别规则 资产目录 个人数据中心 标签工厂-标签加工-离线标签 标签离线服务任务支持跨项目选择目标表。支持使用非本项目下的物理表作为...
快速体验
更多公共数据集，您可前往 数据分析>SQL查询，在 公共数据 目录中查看。选择SQL执行 数据源。在临时文件编辑页面，单击右上角的 图标，选择当前SQL查询需要查询的工作空间、引擎类型及数据源。本文示例选择已创建的 MaxCompute 数据源。...
基本概念
Catalog：数据目录，相当于”数据库“的概念。Catalog是一个逻辑概念，它由一个Lindorm（HBase）数据库中所有Layer（一个Layer一个表）与一个Metadata元数据表（其中每一行代表一个Layer的元数据）构成。Cover或Coverage：多幅栅格数据构成...
数据地图概述
数据地图是在元数据基础上提供的企业数据目录管理模块，涵盖全局数据检索、元数据详情查看、数据预览、数据血缘和数据类目管理等功能。数据地图可以帮助您更好地查找、理解和使用数据。元数据采集与接入 MaxCompute数据 如果您使用了...
DataWorks on EMR Serverless StarRocks最佳实践
数据服务概述 数据地图 DataWorks的数据地图是在元数据基础上提供的企业数据目录管理模块，涵盖全局数据检索、元数据详情查看、数据预览、数据血缘和数据类目管理等功能。数据地图可以帮助您更好地查找、理解和使用数据。数据地图概述 前提...
常见问题
功能特性 云数据库Redis版兼容Redis哪个版本？云数据库Redis版兼容Redis哪些命令和操作？云数据库Redis版与Redis是什么关系？云数据库Redis版是否存在CPU处理能力、带宽和连接数等限制？单个实例有多少个数据库？云数据库Redis版是否都有主...
GetDoctorHDFSDirectory-获取HDFS特定目录分析结果
通过EMR Doctor获取集群HDFS特定目录数据分析结果，目录不超过5级。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出...
创建AnalyticDB for PostgreSQL数据源
进行数据同步：DataWorks的数据集成模块为您提供读取和写入数据至AnalyticDB for PostgreSQL的能力，您可将其他数据源的数据同步至当前AnalyticDB for PostgreSQL数据源，或将当前AnalyticDB for PostgreSQL数据源的数据同步至其他数据源。...
创建AnalyticDB for MySQL3.0数据源
进行数据同步：DataWorks的数据集成模块为您提供读取和写入数据至AnalyticDB for MySQL3.0的能力，您可将其他数据源的数据同步至当前AnalyticDB for MySQL3.0数据源，或将当前AnalyticDB for MySQL3.0数据源的数据同步至其他数据源。...
数据存储目录结构说明
本章介绍文件引擎...目录 说明/${实例ID}-global/${实例ID}_xxx 宽表引擎数据存储目录/solr 搜索引擎数据存储目录/tsdb 时序引擎数据存储目录 说明${实例ID}：lindorm实例ID。xxx：实例所在的区域，如cn-shanghai则表示为上海的实例。
数据表
本文介绍如何查找已公开的数据表...在顶部菜单栏，单击 资产目录 在数据表目录页面，单击 数据表。资产目录搜索框中输入“银行客户信息”，单击 图标，查看符合条件的资产。预期结果 在资产目录页面中，显示搜索结果“银行客户信息”数据表。
新建数据元
数据元管理通过分析业务流程，抽象关键业务对象和业务对象属性，并把关键业务对象新建为数据元，并配置数据元的类型、长度、质量校验函数和引用数据字典，为模型标准化设计及数据治理过程中的质量监控提供规则依据。本文介绍如何新建数据元...
新建数据元
数据元管理通过分析业务流程，抽象关键业务对象和业务对象属性，并把关键业务对象新建为数据元，并配置数据元的类型、长度、质量校验函数和引用数据字典，为模型标准化设计及数据治理过程中的质量监控提供规则依据。本文介绍如何新建数据元...
功能简介
通过统一的数据资产目录，沉淀数据供给方生产的各类型数据，帮助数据使用者快速了解和获取业务需要的高质量数据资产，促进数据资产发挥更大的业务价值。同时，通过查看数据资产全局血缘，清晰的了解数据资产的上下游关联。概览 对数据资产...
新建数据域
通过新建数据域，实现对数据域的定义与管理，便于从数据域维度对数据模型进行分类管理，方便逻辑表设计时使用。本文介绍如何新建数据域。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标...
功能简介
通过统一的数据资产目录，沉淀数据供给方生产的各类型数据，帮助数据使用者快速了解和获取业务需要的高质量数据资产，促进数据资产发挥更大的业务价值。同时，通过查看数据资产全局血缘，清晰的了解数据资产的上下游关联。概览 对数据资产...
新建数据域
通过新建数据域，实现对数据域的定义与管理，便于从数据域维度对数据模型进行分类管理，方便逻辑表设计时使用。本文介绍如何新建数据域。操作步骤 登录企业数据智能平台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，...
数据资产管理
数据资产管理通过统一的数据资产目录，沉淀数据供给方生产的各类型数据，帮助数据使用者快速了解和获取业务需要的高质量数据资产，促进数据资产发挥更大的业务价值。同时，通过查看数据资产全局血缘，清晰的了解数据资产的上下游关联。前提...
约束和限制
目录下面采样最新和最老的文件，每个文件读取前1000行 元数据发现SLS数据源发现历史投递数据 如果投递中途修改了分区格式，不会发现修改前的数据 一键建仓/多库合并支持的数据源网络类型 VPC 一键建仓/多库合并支持的数据源 PolarDB MySQL ...
通过云计算资源扫描创建逻辑表
您可以将已存在物理数据库中的数据表，通过云计算资源扫描方式，导入数据资源平台系统，实现逆向创建逻辑表，本文介绍如何通过云计算资源扫描方式创建逻辑表。前提条件 已新建工作组“信息中心(xxzx)”，具体操作，请参见 新建工作组。已在...
发现
通过统一的数据资产目录，沉淀数据供给方生产的各类型数据，帮助资产运营管理者进行高价值、可共享的数据资源的注册、编目分类和公开运营，帮助数据使用者快速了解和获取业务需要的高质量数据资产，促进数据资产发挥更大的业务价值。...
07批量导入逻辑表
前提条件 已完成数据模型目录规划。按照数据模型导入Excel模板完成模型录入。操作目的 通过数据模型导入功能，一次批量导入多张数据模型。导入模型如下：workspace-tables 说明 该Excel中的模型均使用demo来标识模型构建人，可以在Excel中...
代码搜索
各目录功能，详情请参见 数据开发功能索引 仅DataWorks V1.0版本会显示 手动任务 目录。操作步骤 进入 数据开发 页面。登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后...
公开与隐藏数据表资产
将编目的数据表资产公开后，可在发现查看及申请使用，同时，可通过隐藏数据表资产停止对外展示及申请使用。本文介绍如何公开与隐藏数据表资产。前提条件 已在运营模块中为数据表资产编目。背景信息 将数据建模中生成的数据表进行编目及公开...
公开与隐藏数据表资产
将编目的数据表资产公开后，可在发现查看及申请使用，同时，可通过隐藏数据表资产停止对外展示及申请使用。本文介绍如何公开与隐藏数据表资产。前提条件 已在运营模块中为数据表资产编目。背景信息 将数据建模中生成的数据表进行编目及公开...
配置数据表资产目录
指为数据表资产指定所属目录，资产编目后，才能进行公开。本文介绍如何给表资产进行编目。前提条件 已在运营模块中订阅物理表，具体操作，请参见 资产注册。已在数据建模模块中创建并物理化逻辑表，具体操作，请参见 物理化逻辑表。已运营...
配置数据表资产目录
指为数据表资产指定所属目录，资产编目后，才能进行公开。本文介绍如何给表资产进行编目。前提条件 已在运营模块中订阅物理表，具体操作，请参见 资产注册。已在数据建模模块中创建并物理化逻辑表，具体操作，请参见 物理化逻辑表。已运营...
更新数据表资产
模型类目：指创建资产时，对应工作组下的数据建模目录。单击 所属工作组 下拉列表选择对应工作组后，单击 所属类录 下拉列表选择模型对应目录，单击 查询，展示符合该条件的资产。说明 未选择 所属工作组，模型类目 不可选择。所属类目：指...
更新数据表资产
模型类目：指创建资产时，对应工作组下的数据建模目录。单击 所属工作组 下拉列表选择对应工作组后，单击 所属类录 下拉列表选择模型对应目录，单击 查询，展示符合该条件的资产。说明 未选择 所属工作组，模型类目 不可选择。所属类目：指...
功能简介
运营主要面向租户资产管理员，为用户提供数据资产编目、上线、下线等能力。运营获取资产元数据信息，同步到数据资产目录完成数据资产注册。数据资产管理涉及三种用户角色，包括资产使用方、租户资产管理员、工作组管理员。资产使用方：主要...
- 产品推荐
- 这些文档可能帮助您