数据服务：低成本快速发布API
DataWorks的数据服务功能模块是灵活轻量、安全稳定的数据API构建平台，旨在为企业提供全面的数据共享能力，帮助用户从发布审批、授权管控、调用计量、资源隔离等方面实现数据价值输出及共享开放。功能概述 作为数据仓库与上层应用系统间的...
数据地图：统一管理，跟踪血缘
DataWorks的数据地图功能可以帮助您实现对数据的统一管理和血缘的跟踪。数据地图 以数据搜索为基础，提供表使用说明、数据类目、数据血缘、字段血缘等工具，帮助数据表的使用者和拥有者更好地管理数据、协作开发。
数据集成：全领域数据汇聚
DataWorks的数据集成功能模块是稳定高效、弹性伸缩的数据同步平台，致力于提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力。功能概述 DataWorks数据集成支持离线同步、实时同步，以及离线和实时一体化的全增量同步...
公告
此功能对应MaxCompute管理控制台的 配额（Quota）管理，配额（Quota）管理 已经全部覆盖原有能力，同时还支持了预留弹性能力，支持数据传输独享Quota的管理等，交互体验上也有了很大的提升，详情请参见 项目管理（新版）。作业运维：运维...
概述
DataWorks的安全中心作为云上大数据体系的安全门户，致力于向您提供面向数据安全生命周期全过程的安全能力，同时在符合安全规范要求的前提下，提供各类安全诊断的最佳实践。其核心功能如下：数据权限管理 安全中心为您提供精细化的数据权限...
数据及时性监控
基于MaxCompute的离线任务对数据产出有严格的时间要求，在确保数据准确性的前提下，还需要让数据能够及时提供服务。本文为您介绍如何使用DataWorks智能监控的规则管理功能监控数据的及时性。前提条件 如果您想使用完整的智能监控功能，需要...
2021年
MaxCompute 支持访问开启Kerberos 认证授权机制的 Hadoop集群 大部分企业的Hadoop的生产集群开启了 Kerberos认证授权机制，本次功能升级能够利用MaxCompute访问开启Kerberos认证授权机制的 Hadoop集群，极大的扩展了湖仓一体对接Hadoop的...
JindoData版本说明
可以极大的简化数据迁移流程。JindoFS存储系统支持文件清单功能，您可以基于文件清单功能更好了解数据的分布以及归属。在性能优化方面，JindoFS存储系统通过存量以及增量的方式优化Du和Count性能，显著提升Du和Count操作性能。对于JindoSDK...
数据开发与运维中心：数据加工
DataWorks的 数据开发（DataStudio）是数据加工的开发平台，运维中心 是智能运维平台，基于这两个功能模块，您可以在DataWorks上规范、高效地构建和运维数据开发工作流。功能概述 DataWorks的数据开发的亮点功能如下。DataStudio支持...
概述
数据开发 的核心功能如下：文件夹 用于存放并管理数据库中的数据开发节点。详情请参见 文件夹。Hologres开发 用于周期性调度作业。详情请参见 Hologres开发：周期性调度。一键MaxCompute表结构同步 支持使用可视化方式批量创建外部表，加速...
数据分析：即时快速分析
功能概述 数据分析支持基于个人视角的数据上传、公共数据集、表搜索与收藏、在线SQL取数、SQL文件共享、SQL查询结果下载及用电子表格进行大屏幕数据查看等产品功能。适用场景 适合更多非专业数据开发人员，如数据分析、产品、运营等工作...
函数概述
功能介绍 数据服务支持的函数类型包括Aviator函数、Python函数，您可以在数据服务中 创建函数、测试函数、发布函数，发布后的函数可被进一步关联至API，作为API的过滤器，对API的请求参数或返回结果进行加工处理，从而实现API的复杂查询...
数据开发概述
数据开发主要功能 数据开发（DataStudio）的主要功能介绍如下。您可参考 数据开发相关概念 辅助理解。类型 描述 对象组织及管理 DataWorks数据开发提供的对象组织与管理机制如下：对象组织：提供 解决方案>业务流程 两级管理模式。...
测试数据构建
说明 若您使用的是极简模式的控制台，请单击控制台左上角的 图标，选择 全部功能>数据库开发>环境构建>测试数据构建。在 测试数据构建工单列表 页，单击右上角的 测试数据构建。说明 您还可以在目标数据库的SQL窗口中，右键单击目标表，在...
HBase Replication
HBase可以基于Replication功能将实时写入的数据从主集群复制到备份集群，从而提高HBase数据的可靠性和数据访问的扩展性。HBase目前支持异步Replication、串行Replication和同步Replication。本文为您介绍如何开启HBase的异步Replication...
功能发布记录（2022年）
英国（伦敦），美国（硅谷），美国（弗吉尼亚），阿联酋（迪拜）所有DataWorks用户 数据集成概述 DataWorks支持EMR新版数据湖DataLake DataWorks支持基于EMR计算引擎新版数据湖DataLake，实现基于EMR引擎的数据集成、数据建模、数据开发...
2023年
2023-03-30 全部地域 向量计算（Proxima CE）概述 支持External Volume非结构化数据存储能力 External Volume是MaxCompute提供的非结构化大数据存储方案，是OSS路径在数仓中的映射和管理对象。2023-03-30 全部地域 External Volume操作 ...
创建Oracle数据源
通过创建Oracle数据源能够实现Dataphin读取Oracle的业务数据或向Oracle写入数据。本文为您介绍如何创建Oracle数据源。背景信息 Oracle是一款可移植好、可靠性好、适应高、功能强大的关系型数据库。如果您使用的是Oracle，在对接Dataphin...
计费逻辑说明
资源费用明细：数据服务API调用 数据质量 数据质量可对任务产出的表数据进行数据质量监控，DataWorks将根据数据质量规则实例数量计费。资源费用明细：数据质量 OpenAPI DataWorks提供OpenAPI，您可基于OpenAPI实现业务定制化开发，...
创建Oracle数据源
通过创建Oracle数据源能够实现Dataphin读取Oracle的业务数据或向Oracle写入数据。本文为您介绍如何创建Oracle数据源。背景信息 Oracle是一款可移植好、可靠性好、适应高、功能强大的关系型数据库。如果您使用的是Oracle，在对接Dataphin...
支持Flink可恢复性写入JindoFS或OSS
背景信息 可恢复性写入功能支持将数据以EXACTLY_ONCE语义写入存储介质，在大数据场景下保证了数据的安全性和一致性。在Flink作业中的用法 通用配置 为了支持EXACTLY_ONCE语义写入JindoFS或OSS，您需要执行如下配置：打开Flink的检查点...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
2022年
2022-07-14 全部地域 聚合函数 2022-6 功能名称 功能描述 发布时间 发布地域 相关文档 支持在DataWorks公共表中查看外部数据源的元数据信息 支持在DataWorks公共表中查看外部数据源的元数据信息，使基于湖仓的数据开发人员方便查看外部数据...
DataWorks各版本详解
专业版 基于DataWorks标准版，增加更专业的数据安全功能，同时增强数据治理、数据服务的功能，完善的数据开发与运维功能，提供产品化的数据治理、数据安全解决方案。此版本适合中小型企业使用。企业版 基于DataWorks专业版，在该版本上您...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
客户案例
价值体现 从大数据平台上云整体“降本增效”的方案快速切入，迁移到大数据MaxCompute、实时计算、DataWorks后，部分任务有10倍以上的性能提升，存储从自建Hadoop 3PB降到900T，利用Flink实时数据处理能力，将宝宝树现有的场景实时化（...
开源支持
本文将为您介绍MaxCompute相关的开源功能。SDK MaxCompute提供Java SDK和Python SDK接口实现创建、查看、删除MaxCompute表等操作。通过SDK，您可以通过编辑代码灵活地操作MaxCompute。MaxCompute提供的SDK如下：Java SDK Java SDK使用说明...
2020年
结合数据分析的丰富的Web-Excel分析功能，数据分析师可以通过MaxCompute数据分析一站式快速进行数据查询、结果二次分析、分享。MaxCompute查询加速功能主要支持按量计费资源，若项目使用包年包月资源，暂时无法满足查询加速要求。2020-12-...
图层配置项说明
数据图元组件、栅格瓦片、地形瓦片、三维瓦片 和 其他：在这五个类型图层数据面板中，数据配置和普通图表组件一致，可配置静态数据源、API数据源和空间构建数据源内容，还可将图层数据接口作为区块数据接口，在可视化应用中配置更丰富的...
冷热分层
背景信息 在海量大数据场景下，随着业务和数据量的不断增长，性能和成本的权衡成为大数据系统设计面临的关键挑战。Delta Lake是新型数据湖方案，推出了数据流入、数据组织管理、数据查询和数据流出等特性，同时提供了数据的ACID和CRUD操作...
图层配置项说明
数据图元组件、栅格瓦片、地形瓦片、三维瓦片 和 其他：在这五个类型图层数据面板中，数据配置和普通图表组件一致，可配置静态数据源、API数据源和空间构建数据源内容，还可将图层数据接口作为区块数据接口，在可视化应用中配置更丰富的...
图层配置项说明
数据图元组件、栅格瓦片、地形瓦片、三维瓦片 和 其他：在这五个类型图层数据面板中，数据配置和普通图表组件一致，可配置静态数据源、API数据源和空间构建数据源内容，还可将图层数据接口作为区块数据接口，在可视化应用中配置更丰富的...
MaxCompute表的高级功能
如果每天都需扫描某表一整年的分区，则计算消耗是非常大的。因此，建议您拆出一张中间表，每天做一次汇总，然后再扫描此中间表的一整年分区，从而减少扫描的数据量。避免小文件 您可以参考如下建议避免产生小文件：Reduce计算过程产生的小...
DataWorks版本到期降级后功能变化清单
本地调试（预览实时数据）功能停用。高级运维-任务智能诊断 高级API 功能停用、请求接口报错。数据服务 数据类型 功能停用、已有接口调用报错。过滤器 功能停用、过滤器失效、调用报错。Lambda 功能停用、Lambda可查看但不可编辑和调用。...
我是管理员
本文将介绍支持管理员用户的功能概览。入门操作 录入数据库实例。详情请参见 实例管理。在用户管理中添加阿里云账号或 同步子账号，并按需设置角色。如不设置则默认为 普通用户 角色。详情请参见 用户管理。对用户授予库表权限。详情请参见...
数据保护机制
项目保护的作用是限制数据流出受保护的项目，场景上与MaxCompute的一些可以跨项目迁移数据的功能产生交集，主要场景如下：create table<其他项目空间的表>as select*from<保护空间的表>。insert overwrite table<其他项目空间的表>select*...
个人设置
例如，更改DataStudio左侧导航栏显示的功能模块、切换开发界面的背景颜色，以及设置编辑器可进行代码错误检查、自动换行、自动保存等。进入个人设置 登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应...
数据归档概述
当线上数据库中的历史数据（访问率很低的数据）越来越多，占用的存储越来越大，以至于会影响数据库的查询性能与业务运转，此时您可以使用 数据管理DMS 的数据归档功能，周期性地将指定表的数据归档至其他数据库或存储服务中。同时，该功能...
ModifyProtectionModuleMode
调用ModifyProtectionModuleMode接口修改指定WAF防护功能模块（包括正则防护引擎、大数据深度学习引擎、CC安全防护、数据风控、主动防御等模块）中的防护模式。您可以通过设置 DefenseType参数值指定防护功能模块。具体参数值的含义，请...
2019年
2019-12 功能名称 功能描述 发布时间 发布区域 相关文档 支持开源地理空间UDF 您可以通过开源地理空间UDF分析空间数据。2019-12-25 全部区域 UDF（地理空间）新增包年包月非预留计算资源版 购买后系统不预留资源，任务发起后，系统会在总...
- 产品推荐
- 这些文档可能帮助您