应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
开发Dataphin数据源并加速数据查询
数据来源 支持 MaxCompute 和 Hologres 两个数据来源。MaxCompute（默认）：支持选择 逻辑表 和 物理表，计算空间只能选择绑定了MaxCompute计算源的项目。Hologres：仅支持选择 物理表，计算空间只能选择绑定了Hologres计算源的项目。说明 ...
CREATE VIEW
CREATE VIEW 用于创建视图。...select_stmt：视图中的数据来源。示例 创建视图finished_orders_v1，视图数据来源为tpch Schema中的finished_orders表数据。CREATE VIEW tpch.finished_orders_v1 AS SELECT*FROM finished_orders;
新建注册上挂指标
在 选择数据来源 页面，配置参数后，单击 下一步。区域 参数 描述 选择来源数据 来源表 选择注册上挂指标的数据来源。建议选择生产数据（即非Dev项目或数据板块产生的数据），以免更新至生产调度运维时，该对象在生产环境不存在导致操作...
数据分析整体趋势
大数据与数据库一体化：早期大数据技术以牺牲一定程度一致性为基础提供分布式能力，解决了传统单机数据库的扩展性不足问题，在MapReduce基础上提供了标准SQL接口，架构上也逐步采用了部分MPP数据库技术；另一方面，分布式数据库也快速发展...
新建注册上挂指标
在 选择数据来源 页面，配置参数后，单击 下一步。区域 参数 描述 选择来源数据 来源表 选择注册上挂指标的数据来源。建议选择生产数据（即非Dev项目或数据板块产生的数据），以免更新至生产调度运维时，该对象在生产环境不存在导致操作...
敏感数据溯源
解决方案：您需要确认溯源数据的来源，确保溯源的数据为本租户名下的数据。原因三：被溯源的文件中不包含水印信息。解决方案：您需要检查目标文件是否开启 数据水印，DataWorks仅支持对开启 数据水印 功能之后所执行的数据访问操作进行溯源...
典型场景
基于湖构建数据平台，支持BI、挖掘等业务 对象存储OSS可以作为湖存储，DLA基于OSS构建一站式的大数据平台。具体包括构建数据湖、数据ETL、交互式查询、机器学习等功能。构建数据湖 实时数据湖：支持DB的CDC与消息数据（如Kafka）入湖，构建...
概述
解决方案 T+1全量同步一键建仓是指通过DLA控制台配置数据源（RDS、PolarDB for MySQL、MongoDB数据源、ECS自建数据库数据）和目标OSS数据仓库，系统按照您设定的数据同步时间自动、无缝的帮您把数据源中的数据同步到目标数据仓库OSS中，...
我的看板
本文介绍可视化应用中心下我的看板模块的数据来源和使用步骤。说明 可视化应用中心功能为7.0版本产品新增功能，请根据 可视化应用中心 环境进行操作。数据来源 在工作台中创建并发布的数据看板内容，会同步在此处展示，若数据看板仅编辑...
数据质量教程概述
本教程使用的数据来源于某网站上的HTTP访问日志。基于这份网站日志，您可以统计并展现网站的浏览次数（PV）和独立访客（UV），并能够按照用户的终端类型（如Android、iPad、iPhone、PC等）和地域分别统计。在整体数据链路的处理过程中，为...
数据质量教程概述
本教程使用的数据来源于某网站上的HTTP访问日志。基于这份网站日志，您可以统计并展现网站的浏览次数（PV）和独立访客（UV），并能够按照用户的终端类型（如Android、iPad、iPhone、PC等）和地域分别统计。在整体数据链路的处理过程中，为...
数据仓库研发规范概述
在大数据时代，规范地进行数据资产管理已成为推动互联网、大数据、人工智能和实体经济深度融合的必要条件。贴近业务属性、兼顾研发各阶段要点的研发规范，可以切实提高研发效率，保障数据研发工作有条不紊地运作。而不完善的研发流程，会...
数据源管理
数据源管理是管理入湖数据来源的入口，支持RDS MySQL，Kafka作为数据湖的来源。您可以新建、编辑和删除数据源。重要 数据入湖功能已经停止更新，如果您有数据入湖需求请参考：数据入湖停止更新公告。创建数据源 连接属性配置。连接名称：请...
配置本地文件输入组件
导出sheet名 可选是否导出数据的来源sheet。导出内容为 {文件名}-{sheet名}。文件编码 选择文件编码的方式。系统支持UTF-8和GBK方式。新建输出字段 新建输出字段：单击 新建输出字段。根据页面提示，配置 来源序号 和 字段，选择字段类型。...
配置本地文件输入组件
导出sheet名 可选是否导出数据的来源sheet。导出内容为 {文件名}-{sheet名}。文件编码 选择文件编码的方式。系统支持UTF-8和GBK方式。新建输出字段 新建输出字段：单击 新建输出字段。根据页面提示，配置 来源序号 和 字段，选择字段类型。...
基于原生DDL语句创建元表
数据源 选择创建元表的来源数据源。说明 Dataphin将自动根据您的DDL语句自动识别数据源类型，您可以在数据源下拉选项中，选择对应数据源。来源表 选择数据源后，在来源表下拉选项中选择对应的来源表。Connector Dataphin将根据代码自动识别...
基于原生DDL语句创建元表
数据源 选择创建元表的来源数据源。说明 Dataphin将自动根据您的DDL语句自动识别数据源类型，您可以在数据源下拉选项中，选择对应数据源。来源表 选择数据源后，在来源表下拉选项中选择对应的来源表。Connector Dataphin将根据代码自动识别...
配置OSS输入组件
导出sheet名 是否导出数据的来源sheet名称，导出内容为 {文件名}-{sheet名}。文件编码 支持 UTF-8 和 GBK 编码。压缩格式 支持 zip、gzip、bzip2、lzo、lzo_deflate 压缩格式。空值转换 可指定将任意字符串转换为 Null 值。单击 确认，完成...
配置OSS输入组件
导出sheet名 是否导出数据的来源sheet名称，导出内容为 {文件名}-{sheet名}。文件编码 支持 UTF-8 和 GBK 编码。压缩格式 支持 zip、gzip、bzip2、lzo、lzo_deflate 压缩格式。空值转换 可指定将任意字符串转换为 Null 值。单击 确认，完成...
集成组件库开发说明
输出组件 数据来源集成的目标数据。您可根据您的业务需求，选择对应的输出组件并拖动到左侧的管道画布用于数据的输出。各输出组件功能详情请参见：各组件配置详情。输出 组件不支持有下游节点。流程组件 用于数据集成时的流程控制，...
数据保护伞入门
数据保护伞 是一款数据安全管理产品，提供数据发现、数据脱敏、数据水印、访问控制、风险识别、数据溯源等功能，帮助您快速梳理敏感数据并进行安全管控，保障数据安全。本文示例使用内置规则对 xc_dpe_e2_dev 项目的 phone 数据脱敏，并...
数据保护伞概述
数据保护伞是一款数据安全管理产品，为您提供数据发现、数据脱敏、数据水印、访问控制、风险识别、数据溯源等多种功能，帮助您快速梳理敏感数据并进行安全管控，保障数据安全。本文为您介绍数据保护伞的使用流程、使用限制等内容。使用流程...
数据标准概述
数据标准化清晰定义 数据质量规则、数据的来源和去向、校验规则，提升数据质量。管理方面：通过数据的标准化定义，明确数据的责任主体，为数据安全、数据质量提供保障；统一、标准的数据指标体系为各主题的数据分析提供支持，提升数据处理...
数据标准概述
数据标准化清晰定义 数据质量规则、数据的来源和去向、校验规则，提升数据质量。管理方面：通过数据的标准化定义，明确数据的责任主体，为数据安全、数据质量提供保障；统一、标准的数据指标体系为各主题的数据分析提供支持，提升数据处理...
数据脱敏
配置脱敏数据的来源文件信息，并单击下一步。脱敏源为 RDS表/PolarDB-X表/MaxCompute表/PolarDB表/OceanBase表/ADB-MySQL表 时配置项说明 脱敏源配置项 是否必填 配置描述 数据存储类型 是 选择脱敏文件的数据存储类型。支持的存储类型包括...
数据质量保障原则
一致性 一致性通常体现在跨度很大的数据仓库中。例如，某公司有很多业务数仓分支，对于同一份数据，在不同的数仓分支中必须保证一致性。例如，从在线业务库加工到数据仓库，再到各个数据应用节点，用户ID必须保持同一种类型，且长度也要...
创建Impala数据源
通过创建Impala数据源能够实现Dataphin读取Impala的业务数据或向Impala写入数据。本文为您介绍如何创建Impala数据源。背景信息 Impala是用于处理存储在Hadoop集群中大量数据的SQL查询引擎。如果您使用的是Impala，在导出Dataphin数据至...
数据分析概述
DataWorks提供的数据分析平台，可以流畅地进行数据处理、分析、加工及可视化操作。在数据分析板块中，您不仅可以在线洞察数据，还可以编辑和共享数据。本文为您介绍数据分析平台的优势、功能、权限等概要信息。产品优势 与本地数据分析相比...
数据迁移
本文为您介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将MaxCompute的数据迁移至其它业务平台。背景信息 传统关系型数据库不适合处理海量数据，如果您的数据存放在传统的关系型数据库且数据量庞大...
ETL工作流快速体验
GitHub十大热门编程语言 DataWorks MaxCompute 函数计算 OSS 数据集成 数据开发 基于GitHub Archive公开数据集，通过DataWorks 数据集成 模块获取过去1小时GitHub中提交次数最多的代码语言数据，在DataStudio 数据开发 模块通过函数计算...
数据质量风险监控
ODS层表中的数据来源于OSS上的日志文件，作为源头表，您需要尽早判断此表分区中是否有数据。如果这张表中没有数据，则后续任务运行无意义，需要阻止后续任务运行。进入 数据质量 页面。在 数据开发 页面，单击左上角图标，选择 数据质量。...
数据质量风险监控
ODS层表中的数据来源于OSS上的日志文件，作为源头表，您需要尽早判断此表分区中是否有数据。如果这张表中没有数据，则后续任务运行无意义，需要阻止后续任务运行。进入 数据质量 页面。在 数据开发 页面，单击左上角图标，选择 数据质量。...
步骤二：开发事实逻辑表
将配置的数据来源字段拖拽至计算逻辑列。如下图所示：单击 保存并下一步。步骤五：配置事实逻辑表调度 在 调度&参数配置 页面，使用系统默认配置，无需进行配置。单击 保存并提交。步骤五：保存并提交逻辑表 单击 保存并提交 后。系统将对 ...
步骤二：开发事实逻辑表
将配置的数据来源字段拖拽至计算逻辑列。如下图所示：单击 保存并下一步。步骤五：配置事实逻辑表调度 在 调度&参数配置 页面，使用系统默认配置，无需进行配置。单击 保存并提交。步骤五：保存并提交逻辑表 单击 保存并提交 后。系统将对 ...
数据字典
配置字典的数据源，表示字典中的数据来源。目前ClickHouse支持的数据源为：MySQL ClickHouse字典中数据的更新频率，单位：秒。内存中的数据格式类型，目前扩展字典共拥有7种类型。单数值key flat hashed range_hashed cache 复合key ...
设计阶段
设计工作包含数据探查和系分设计两部分：数据探查旨在了解来源数据的数据形态，例如数据质量、数据分布等。结合业务场景，帮助分析和判断需求实现的可行性以及找出潜在的数据问题和风险。系分设计则包括表设计、Mapping设计和调度设计等最...
功能特性
配置管理 数据保护 敏感数据管理 DMS的敏感数据保护能力能根据所选的敏感数据扫描模板、敏感数据识别模型以及脱敏算法对数据进行脱敏处理，以避免敏感数据滥用，有效保护企业的敏感数据资产，防止数据泄露造成企业经营资金损失或罚款。...
功能特性
计算 MaxCompute向用户提供了多种经典的分布式计算模型，提供TB、PB、EB级数据计算能力，能够更快速的解决用户海量数据计算问题，有效降低企业成本。功能集 功能 功能描述 参考文档 SQL开发 DDL语句 DDL语句 DDL DML操作 DML操作 DML操作 ...
表设计最佳实践
表设计指南 建议将数据信息划分为基本属性表和天气日志表，分别用于存储变化小和变化大的数据。因为天气信息的数据量巨大，在对天气日志表按照地域进行分区后，可以按照时间（例如，天）进行二级分区。此种分区方式可避免发生因某一个地点...
- 产品推荐
- 这些文档可能帮助您