技术架构选型
在数据模型设计之前，您需要首先完成技术架构的选型。本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。...
数据分析整体趋势
大数据与数据库一体化：早期大数据技术以牺牲一定程度一致性为基础提供分布式能力，解决了传统单机数据库的扩展性不足问题，在MapReduce基础上提供了标准SQL接口，架构上也逐步采用了部分MPP数据库技术；另一方面，分布式数据库也快速发展...
区域图
标记描边 区域图内数据点的标记的描边样式，包括标记描边线的线型、粗细值和线的颜色，可单击 图标控制数据点标记描边样式的显隐。折线标签 折线的标签样式，单击 图标，控制折线标签配置项的显隐。标签字段：标签的内容需要和数据面板中...
管理数据定义资源
参数 说明 实体定义 UUID 当前数据定义资源的固定ID。名称 设置当前数据定义资源的名称。类型 数据定义的类型。元数据编辑器 单击 元数据编辑器，设置需要绑定的变量后，单击 保存。复制数据定义 在资源管理窗口，在选中资源上右键单击 ...
全增量同步任务运维
同步数据量：显示当前同步任务中的已同步数据量，包含已运行成功任务同步的数据量及运行中任务已同步的数据量。同步记录数：显示当前同步任务中的已同步数据的条数记录。说明 离线同步子任务 的统计情况每小时更新一次。实时同步子任务 ...
什么是数据安全中心
数据安全中心（Data Security Center，简称DSC），在满足等保2.0“安全审计”及“个人信息保护”的合规要求的基础上，为您提供敏感数据识别、数据安全审计、数据脱敏、智能异常检测 等数据安全能力，形成一体化的数据安全解决方案。...
管理数据集
（可选）单击 更多操作>相关卡片和作品，查看当前数据集关联的卡片。（可选）单击 更多操作>删除，可以删除当前数据集。重要 删除数据集前先手动删除关联卡片，否则无法删除。数据集删除将无法恢复，请谨慎操作。（可选）单击 探索，直接...
导入数据至电子表格
在电子表格的编辑页面，您可以直接录入数据，也可以从其他数据源导入数据，或将本地数据导入电子表格，以便为后续数据分析做好准备。本文将为您介绍如何将数据导入电子表格。前提条件 已创建一个空白的电子表格，详情请参见 创建电子表格。...
数据采集
AnalyticDB MySQL版 集群内部对多种数据进行了采集，服务于监控告警系统，确保对故障问题可追溯和可排查。时序数据采集 进程时序数据 计算资源包括：CPU使用率。存储资源包括：IO吞吐、IOUtil、IOPS、存储空间使用量、存储空间使用率。服务...
通用数据查询与管理
通过数据地图首页查询并进入对应表详情页面后，您可在页面中查看表的基础信息和业务信息，了解当前表所属的项目、表owner、所属的环境是生产环境还是开发环境等信息，并可以在右侧通过各详细信息的页签页面，快速查看表的字段明细、血缘...
账单数据订阅及查询分析
DataWorks及MaxCompute：DataWorks基于MaxCompute等大数据引擎，支持您在线进行SQL分析、业务洞察、编辑和分享数据，以及将查询结果保存为可视化图表卡片，快速搭建可视化数据报告。订阅账单数据后，用户中心会将相关账单数据同步至指定...
查看元数据
表 页签：展示当前数据库下的所有表和物化视图，单击对应的表名称，可以逐层查看相关的表信息（包括表的大小、缓存数据大小和类型）、分区信息、节点分片情况和分片信息。此外，还支持按表大小排序的功能，允许您按升序或降序显示这些信息...
配置Hive输出组件
同步其他数据源的数据至Hive数据源的场景中，完成源数据源的信息配置后，需要配置Hive输出组件写入数据的目标数据源。本文为您介绍如何配置Hive输出组件。使用限制 Hive输出组件支持写入文件格式为 orc、parquet、text、iceberg（iceberg...
快速体验
数据治理：大数据开发治理平台 DataWorks数据质量（必选）、大数据开发治理平台 DataWorks数据地图（必选）、大数据开发治理平台 DataWorks数据保护伞（必选），基础版DataWorks已包含。数据展示：智能分析套件Quick BI（必选），您可根据...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
导入数据建模基础信息
通过导入数据建模基础信息，可以为逻辑表批量快速添加新属性。本文介绍如何批量导入数据建模基础信息。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。...
导入数据建模基础信息
通过导入数据建模基础信息，可以为逻辑表批量快速添加新属性。本文介绍如何批量导入数据建模基础信息。操作步骤 登录企业数据智能平台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。...
配置TDH Inceptor输出组件
同步其他数据源的数据至TDH Inceptor数据源的场景中，完成源数据源的信息配置后，需要配置TDH Inceptor输出组件写入数据的目标数据源。本文为您介绍如何配置TDH Inceptor输出组件。使用限制 TDH Inceptor输出组件支持写入文件格式为orc、...
Stage级别诊断结果
较大的数据量被广播 Stage输入数据倾斜 Stage输出数据倾斜 较大的数据量被广播 问题 广播（Broadcast）是在两个相邻的Stage间，上游向下游Stage传输数据时所用的一种方法（更多详情，请参见 数据输出类型）。如果某个Stage广播了较多数据，...
图扑案例
针对存储层面临的问题，厦门图扑软件基于阿里 云原生多模数据库 Lindorm 改造存储层架构，以单库多模超融合模式存储全量采集的监控数据（技术方案对比如图2所示），极大地简化了存储层架构，进而降低了运维成本。利用Lindorm自研的数据压缩...
数仓规划概述
基础研发版和智能研发版支持的功能不同：基础研发版：规划 包括 项目 和 源 两大模块。模块之间存在依赖关系，项目的计算存储资源配置基于 计算源，项目空间内所用到的数据基于 数据源。智能研发版：规划 包括 业务、项目 和 源。模块之间...
查看并管理定时调度补数据任务
定时调度补数据任务是指任务将按照配置的定时调度时间生成并运行补数据实例，进行历史数据的回刷。本文将为您介绍如何查看并管理定时调度类型的补数据任务。定时调度补数据任务入口 请参见 运维中心入口，进入 运维 中心。按照下图操作指引...
操作指南
一、大数据专家服务流程指南 二、服务流程说明 用户可以根据自己实际需要，提前或者在问题发生时购买大数据专家服务，服务项包含大数据技术架构方案咨询、大数据解决方案POC、大数据搬站迁云方案咨询、跨地域迁移支持服务、大数据专家高阶...
数仓规划概述
基础研发版和智能研发版支持的功能不同：基础研发版：规划 包括 项目 和 源 两大模块。模块之间存在依赖关系，项目的计算存储资源配置基于 计算源，项目空间内所用到的数据基于 数据源。智能研发版：规划 包括 业务、项目 和 源。模块之间...
元表和字段资产详情
为您展示当前数据表的规则校验概览和质量监控规则列表，点击 查看报告详情 按钮或 查看规则详情 按钮，可快捷跳转到数据质量模块对应页面查看更多详情。⑤ 使用说明 您可为数据表添加使用说明，为数据浏览者和消费者提供信息参考。单击 ...
查看工作空间信息
查看工作空间列表 在工作空间页面，您可查看当前租户下所有工作空间的基本信息，包括工作空间的名称、ID、责任人、工作空间成员数量、工作空间模式等。查看工作空间详情 在工作空间页面，单击目标工作空间名称，即可进入该工作空间的详情页...
元表和字段资产详情
为您展示当前数据表的规则校验概览和质量监控规则列表，点击 查看报告详情 按钮或 查看规则详情 按钮，可快捷跳转到数据质量模块对应页面查看更多详情。⑤ 使用说明 您可为数据表添加使用说明，为数据浏览者和消费者提供信息参考。单击 ...
配置SQLServer数据源
SQLServer数据源为您提供读取和写入SQLServer双向通道的功能，您可以通过向导模式和脚本模式配置同步任务。前提条件 在配置SQLServer数据源之前，您需要在RDS for SQLServer端做好以下准备工作。创建RDS for SQLServer实例，请参见 快速...
ProjectProtection
开启或关闭项目空间的数据保护机制。您只能在项目空间中访问数据。数据只能在项目空间内流动，不允许流出到项目空间之外，以提高数据的安全性。使用限制 本文中的命令您需要在 MaxCompute客户端 执行。本命令为CMD命令，仅支持在客户端...
表数据管理
在表列表中双击表名进入表管理页面，点击上方导航栏中的 数据 按钮进入数据页签，在该页签可对当前表中的数据进行查看、新增、修改和删除操作。重要 ODC 共享 Session，相同连接只有一个 Session。在 Oracle 模式下，ODC V2.3.2 之后版本...
手工表概述
下载：先保存当前数据，再将当前页面数据以CSV格式下载到本地。分享：可将手工表分享给Dataphin其他成员。将校验成员对表的权限，判断该成员是否能查看、编辑或改表结构。修改表结构：支持通过DDL导入和从表引入方式修改表数据。表详情：...
手工表概述
下载：先保存当前数据，再将当前页面数据以CSV格式下载到本地。分享：可将手工表分享给Dataphin其他成员。将校验成员对表的权限，判断该成员是否能查看、编辑或改表结构。修改表结构：支持通过DDL导入和从表引入方式修改表数据。表详情：...
pg_replication_slots
pg_replication_slots 视图提供了当前存在于数据库集簇上的所有复制槽的列表，其中也包括复制槽的当前状态。简介 pg_replication_slots 视图提供了当前存在于数据库集簇上的所有复制槽的列表，其中也包括复制槽的当前状态。列名称 列类型 ...
基础术语
账本数据 账本数据包括区块链交易、区块及区块头，如果授权其他区块链获取当前区块链的账本数据时，可以指定授权哪一类账本数据。合约消息 跨链授权合约消息后，用户区块链可以接受被授权区块链远程推送合约消息，进行复杂互操作，实现多种...
查看并管理手动运行补数据任务
手动运行补数据任务是指手动运行补数据实例，进行历史数据的回刷。本文将为您介绍如何查看并管理调度类型为手动运行的补数据任务。手动运行补数据任务入口 请参见 运维中心入口，进入 运维 中心。按照下图操作指引，进入 手动运行 补数据...
基础点
偏移：设置阴影基于当前数据的X轴和Y轴的偏移大小，单位为px。模糊：设置模糊半径，范围为0.1~5。亮度：设置亮度强度，范围为0~200，单位为%。对比度：设置对比度强度，范围为0~200，单位为%。饱和度：设置饱和度强度，范围为0~200，单位为...
管理数据架构待发布对象
导入的发布包文件中存在数据架构变更对象时，将在待发布数据架构页面为您展示，您可在待发布数据架构页面对数据架构对象进行管理和发布。前提条件 数据架构对象所在的数据板块已经发布。待发布数据架构对象入口 请参见 发布包总览入口，...
管理数据架构待发布对象
导入的发布包文件中存在数据架构变更对象时，将在待发布数据架构页面为您展示，您可在待发布数据架构页面对数据架构对象进行管理和发布。前提条件 数据架构对象所在的数据板块已经发布。待发布数据架构对象入口 请参见 发布包总览入口，...
查看并管理手动运行补数据任务
手动运行补数据任务是指手动运行补数据实例，进行历史数据的回刷。本文将为您介绍如何查看并管理调度类型为手动运行的补数据任务。手动运行补数据任务入口 请参见 运维中心入口，进入 运维 中心。按照下图操作指引，进入 手动运行 补数据...
概述
DataWorks（数据工场，原大数据开发套件）是阿里云重要的PaaS（Platform-as-a-Service）平台产品，为您提供 数据集成、数据开发、数据地图、数据质量 和 数据服务 等全方位的产品服务，一站式开发管理的界面，帮助企业专注于数据价值的挖掘...
- 产品推荐
- 这些文档可能帮助您