常见问题
请先执行 flush 操作将数据刷写至磁盘上，再执行 compaction 操作，即可将数据存储至冷存储中。compaction 操作说明如下：HBase Shell使用方式，请执行 major_compact 命令。Lindorm-cli连接使用方式，使用语法请参见 ALTER TABLE。Q：为...
访问数据可视化功能
本文介绍进入数据可视化功能的3种方法。方式一：通过顶部菜单栏进入数据可视化 登录 数据管理DMS 5.0。进入数据可视化功能。旧版数据可视化功能：在顶部菜单栏中，选择 集成与开发（DTS）>数据应用>数据可视化（老）。新版数据可视化功能：...
数据脱敏能力概述
DataWorks支持通过配置脱敏规则将敏感数据进行脱敏，保障数据查询或存储安全。当前DataWorks支持多种脱敏场景，同时您还可根据需要自定义脱敏场景，以满足不同数据脱敏场景下的脱敏需求。本文为您介绍DataWorks数据脱敏能力及操作引导。...
业务视角管理：数据专辑
进入数据专辑 进入数据地图页面。登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据治理>数据地图，在右侧页面中单击 进入数据地图。在左侧菜单栏中，单击 数据专辑，进入 数据专辑 页面。创建并使用数据专辑 新建数据专辑。...
创建数据脱敏场景
该场景下，数据在存储过程中便会按照配置的脱敏规则识别敏感数据并将其脱敏，脱敏完成后再将数据存储至指定数据库位置。权限控制 新增、编辑、删除脱敏场景：租户管理员、租户安全管理员 可选择的数据范围为租户下所有项目空间。空间管理员...
访问数据分析功能
通过顶部菜单栏直接进入数据可视化 登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与开发（DTS）>数据应用>数据分析。通过数据库的SQL窗口进入数据可视化 登录 数据管理DMS 5.0。在顶部菜单栏中，选择 SQL窗口>SQL窗口。说明 若您搜索不...
全景视角
② 该区域为您统计全局视角下创建的元数据采集器个数、类型数、异常数等信息，您可以单击右侧 查看详情，进入 数据地图 查看元数据采集详情并对异常情况进行处理，详情请参见 数据发现。③ 该区域为您统计全局视角下近一周新增敏感字段、...
数据保护伞概述
EMR集群类型 元数据存储类型 数据存储类型：OSS 数据存储类型：OSS-HDFS 数据存储类型：HDFS 新版数据湖集群（DataLake）数据湖构建（DLF）RDS实例 MySQL 自定义集群（Custom）数据湖构建（DLF）RDS实例 MySQL 其他集群-说明 该功能目前仅...
数据洞察
数据洞察入口 数据分析支持通过如下几种方式进入数据洞察：数据洞察列表页 进入数据分析。登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 工作空间列表，找到目标工作空间后，单击 操作 列的 快速进入，选择 数据分析。在 数据...
数据总览
操作步骤 进入数据地图页面。登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据治理>数据地图，在右侧页面中单击 进入数据地图。在数据地图 首页，单击 元数据采集 后的 数据总览。在数据总览页，查看当前地域阿里云主账号下...
克隆快照
控制台上克隆快照 在数据库文件存储控制台左侧导航栏点击 快照 进入 数据库文件系统快照 页面。在顶部菜单栏左上角处，选择地域。选择需要克隆的快照，在右侧 操作 列中单击 克隆。设置文件系统名称、购买容量等相应的参数，单击开始克隆。...
数据下载
进入数据下载 进入数据开发页面。登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。单击左上角的 图标，选择 全部产品>数据集成>上传与下载。在 上传...
使用DataWorks（离线与实时）
操作入口与通用操作指导 DataStudio侧操作 登录 MaxCompute控制台，单击控制台左侧导航的 数据开发 进入 数据开发（DataStudio）页面，可在DataStudio中新建离线同步节点或实时同步节点，开始配置离线或实时同步任务，将其他数据源数据同步...
系统配置
进入系统配置页面 进入数据开发页面。登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标，选择 全部产品>数据治理>数据保护伞，单击...
删除快照
操作步骤 在数据库文件系统控制台左侧导航栏点击 快照 进入 数据库文件系统快照 页面。在顶部菜单栏左上角处，选择地域。选择需要删除的快照，在右侧 操作 列中单击 删除。确认数据已备份好，明确删除风险后，单击 我已知晓风险，确认删除...
数据归档至专属存储
本文为您介绍如何将数据归档至专属存储中（存储在 DMS）、将专属存储的数据转存至OSS，以及删除归档至专属存储的数据等操作。前提条件 源数据库类型为：MySQL：RDS MySQL、PolarDB MySQL版、AnalyticDB MySQL 3.0。说明 MySQL数据库账号...
基于Delta lake的一站式数据湖构建与分析实战
数据湖作为一个集中化的数据存储仓库，支持的数据类型具有多样性，包括结构化、半结构化以及非结构化的数据，数据来源上包含数据库数据、binglog 增量数据、日志数据以及已有数仓上的存量数据等。数据湖能够将这些不同来源、不同格式的数据...
首页
进入首页 进入数据开发页面。登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标，选择 全部产品>数据建模>数仓规划，默认进入 数仓分层 页面。单击顶部...
数据集成服务
数据导入的迁移方案包括同步MySQL数据到表格存储、同步Oracle数据到表格存储、同步Kafka数据到表格存储、同步HBase数据到表格存储、同步MaxCompute数据到表格存储、同步表格存储数据表中数据到另一个数据表和同步表格存储时序表中数据到另...
数据集市
登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据建模，在下拉框中选择对应工作空间后单击 进入数据建模。在 数据建模 页面的顶部菜单栏，单击 数仓规划，默认进入 数仓分层 页面。在 数仓规划 页面的左侧导航栏，单击 应用层>...
创建ClickHouse数据源
您也可进入数据集成界面创建，但该页面仅支持创建生产数据源，且创建完成后需在 管理中心>数据源 进行管理。数据集成页面支持创建的数据源类型，具体请以实际界面为准。创建数据源 配置基础信息。您可根据界面提示配置数据源的名称等基础...
MaxCompute数据迁移至OTS
单击相应工作空间 操作 列的 快速进入>数据开发。右键单击已创建的 业务流程，选择 新建表>MaxCompute>表。在 新建表 页面，选择引擎类型并输入 表名。在表的编辑页面，单击 DDL。在 DDL 对话框，输入如下建表语句，单击 生成表结构。...
数据连接管理
进入 数据连接管理 页面。单击 新建实例。在弹出的对话框中，配置数据库信息。参数 说明 类型 您可以根据实际情况，选择 源端 或 目标端。实例名称 建议填入一个辨识度高的名称，以便在后续操作中进行准确区分。数据库类型 选择 MySQL。接...
数据重排
在MaxCompute的使用过程中，如果已经积累了大量数据占用了大量存储资源，且已经通过削减数据存储生命周期和删除非必要数据等方式进行了治理，在您的存储预算有限，计算资源还有冗余的情况下，可以考虑使用数据重排方式对存储空间进行优化。...
数据域
登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据建模，在下拉框中选择对应工作空间后单击 进入数据建模。在 数据建模 页面的顶部菜单栏，单击 数仓规划，默认进入 数仓分层 页面。在 数仓规划 页面的左侧导航栏，单击 公共层>...
管理数据源权限
在数据源页面，单击相应数据源 连接信息 列的 图标，进入 数据源权限管理 页面。在 数据源权限管理 对话框中，配置各项参数。序号 参数 描述 ① 工作空间 为您展示当前操作人员参与的所有工作空间，并且展示空间内的所有人员。您可以针对...
将MaxCompute数据同步到表格存储
适用于海量账单、IM消息、物联网、车联网、风控、推荐等场景中的结构化数据存储，提供海量数据低成本存储、毫秒级的在线数据查询和检索以及灵活的数据分析能力。更多信息，请参见 什么是表格存储。云原生大数据计算服务（MaxCompute）是一...
数据分析概述
进入数据分析 登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据分析>SQL查询，在下拉框中选择对应工作空间后单击 进入SQL查询。进入 数据分析 首页，页面包含以下两个区域：快捷入口：在 快捷入口 区域，单击对应图标进入 ...
创建数据板块
进入 Dataphin规划 页面后，默认进入 数据架构 页面。在 数据架构 页面，单击 新建数据板块。在 新建数据板块 配置向导页面，完成以下操作。在 生产开发类型 页面，选择 Dev-Prod模式 后，单击 下一步。在 板块定义 页面，配置参数。参数 ...
创建数据板块
进入 Dataphin规划 页面后，默认进入 数据架构 页面。在 数据架构 页面，单击 新建数据板块。在 新建数据板块 配置向导页面，完成以下操作。在 生产开发类型 页面，选择 Dev-Prod模式 后，单击 下一步。在 板块定义 页面，配置参数。区域 ...
创建逻辑模型：明细表
可以指定明细表后续在数据建模分析使用时，明细表的数据存储于数仓中的哪个数据分层，一般情况下明细表可存储于数据明细层（DWD层）。明细表创建后，您可以为明细表添加字段，且可以对明细表进行关联和分区的设置，并且可使用统一的数据...
数据查询与分析管控
管控数据源的查询权限 说明 如您未创建数据源，请先进入 数据源管理 页面创建。您可根据下图步骤，授权某成员或角色，拥有指定工作空间数据分析模块中目标数据源的查询权限。配置要点如下。参数 描述 工作空间 仅支持选择当前账号为 空间...
应用场景
存储成本低：重复数据删除技术大幅降低您的备份数据存储成本。存储虚拟化技术：不依赖用户生产实例，将直接使用云上资源的沙箱实例，且在沙箱中的读写不会影响到源数据库。异地备份 互联网金融、银行、保险等行业的数据库除同城备份外，...
数据上传
（可选）上传 阿里云对象存储OSS 数据，需满足如下条件：已开通OSS并创建Bucket，将待上传数据存储至OSS Bucket中。后续可将OSS数据上传至相应数据源，详情请参见 创建存储空间、上传文件。已为执行数据上传操作的阿里云账号授予可访问目标...
ECS自建数据库的灾备与安全
数据库备份DBS支持MySQL、SQL Server、PostgreSQL等阿里云数据库，以及ECS上的自建数据库、线下数据库、其他云数据库进行备份恢复操作。本文以ECS MySQL为例，介绍如何通过DBS实现ECS数据库的灾备与安全，满足实时备份、快速恢复、异地灾备...
物联网平台数据接入
通过使用规则引擎数据流转功能，将物联网平台中的设备数据转发到表格存储（Tablestore）中存储。前提条件 已创建物联网平台企业版实例并将设备接⼊到企业版实例。具体操作，请参见 购买企业版实例 和 设备接入和上报数据。已开通表格存储...
高效数据治理实施指南
通过数据存储资源优化，可以有效地降低数据存储成本，提高数据存储的效率，控制数仓团队的数据成本。此外，存储资源优化还可以帮助企业更好地管理数据，提高数据的安全性和可靠性。步骤一：明确成本治理重点，规划数据治理工作 成本治理...
创建API数据源
操作步骤 请参见 数据源管理入口，进入数据源管理页面。按照下图指引，进入 新建数据源 对话框。在 新建数据源 对话框的 半结构化存储 区域，选择 API。如果您最近使用过API，也可以在 最近使用 区域选择API。同时，您也可以在搜索框中，...
创建API数据源
操作步骤 请参见 数据源管理入口，进入数据源管理页面。按照下图指引，进入 新建数据源 对话框。在 新建数据源 对话框的 半结构化存储 区域，选择 API。如果您最近使用过API，也可以在 最近使用 区域选择API。同时，您也可以在搜索框中，...
应用场景
您可以将模式固定的结构化数据存储在 RDS（Relational Database Service）中，模式灵活的业务存储在MongoDB中，高热数据存储在 云数据库Redis 或 云数据库Memcache 中，实现对业务数据高效存取，降低存储数据的投入成本。移动应用 云数据库...
- 产品推荐
- 这些文档可能帮助您