逻辑表和字段资产详情
说明 数据预览为您展示20条抽样查询数据。当计算引擎为Impala且数据表的存储类型为Kudu时，默认使用Impala SQL进行查询。当计算引擎为StarRocks时，数据预览为您展示前50条查询数据，不含分区信息。若字段类型为HLL（HyperLoglog）时，暂...
术语表
MaxCompute支持的数据类型版本及各版本的数据类型列表，请参见 数据类型版本说明。DDL Data Definition Language，数据定义语言。例如创建表、创建视图等操作。更多DDL语法信息，请参见 DDL语句。DML Data Manipulation Language，数据操作...
无感集成（Zero-ETL）
方案概述 在大数据时代，企业面临着大量分散在不同的系统和平台上的业务数据，为了有效地管理和利用这些数据，企业往往需要依赖于ETL工具对数据进行集中式管理。ETL是将上层业务系统的数据经过提取（Extract）、转换清洗（Transform）、...
StarRocks物理表和字段详情
说明 数据预览为您展示前50条查询数据，含分区信息。若字段类型为HLL（HyperLoglog）时，暂无法为您展示该字段信息预览。③ 血缘&影响 血缘 为您展示表、字段之间的血缘关系。表级血缘 来源包括集成同步任务、自定义血缘的计算任务及系统可...
数据归档概述
当线上数据库中的历史数据（访问率很低的数据）越来越多，占用的存储越来越大，以至于会影响数据库的查询性能与业务运转，此时您可以使用 数据管理DMS 的数据归档功能，周期性地将指定表的数据归档至其他数据库或存储服务中。同时，该功能...
2019年
概述 通过Tunnel迁移日志数据至MaxCompute 通过DataHub迁移日志数据至MaxCompute 通过DataWorks数据集成迁移日志数据至MaxCompute 通过日志服务迁移日志数据至MaxCompute 2019-12-25 新增开源地理空间UDF。新功能 您可以将开源地理空间UDF...
功能更新动态（2023年）
创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成 新增Apache Doris数据源的离线集成。整库迁移任务支持...
功能更新动态（2022年之前）
华北2（北京）、华东1（杭州）计费说明 2021年08月24日 华南1（深圳）2021年08月26日 华东2（上海）系统将依据您选择的数据处理单元规格分配不同的默认调度资源，选购的规格越高，分配的调度资源越多，可以支持的任务并发数越大，研发效率...
什么是Dataphin
Dataphin是阿里巴巴集团OneData数据治理方法论内部实践的云化输出，一站式提供数据采、建、管、用全生命周期的大数据能力，以助力企业显著提升数据治理水平，构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin兼容多种计算...
DataWorks各版本详解
个人资产-收藏功能 支持 支持 支持 支持 我的数据 支持 支持 支持 支持 安全中心 平台安全诊断 MaxCompute数据访问权限控制 数据使用诊断 敏感数据管理 支持 支持 支持 支持 全部DataWorks部署地域 审批中心 计算引擎审批策略 不支持 不...
支持的云服务
阿里云产品 说明 DataWorks DataWorks是基于MaxCompute计算和存储，提供工作流可视化开发、调度运维托管的一站式海量数据离线加工分析平台。您可以将DataWorks理解为MaxCompute的一种Web客户端，MaxCompute是DataWorks的一种计算引擎。...
文档更新动态（2024年）
更新说明 创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 新建Doris数据源 创建GreenPlum数据源 数据引入-离线集成-离线单条管道-...
DataHub通过数据集成批量导入数据
本文以Stream同步数据至DataHub的脚本模式为例，为您介绍如何通过数据集成导入离线DataHub数据。前提条件 准备阿里云账号，并创建账号的访问密钥。详情请参见 开通DataWorks服务。开通MaxCompute，自动产生一个默认的MaxCompute数据源，并...
配置检查项
在进行数据开发前，可通过检查项对数据开发功能相关的约束进行检查，当检查出不符合约束规范的内容时，系统会生成影响开发流程正常执行的问题事件，您可基于该事件处理暴露的问题，以保障数据开发流程可以正常执行。本文为您介绍如何查看并...
配置管理
数据管理DMS开放了系统层面的配置，管理员角色可通过对这些配置进行更改，来实现更灵活的管理需求。本文档介绍配置管理的方法。前提条件 系统角色为管理员。查看系统角色的具体步骤，请参见 查看我的系统角色。操作步骤 登录 数据管理DMS 5...
AnalyticDB MySQL 2.0数据导入
MaxCompute中已经没有原始数据，原始数据只存在于 AnalyticDB for MySQL 2.0集群的数据库中，可以使用两种数据迁移方式将 AnalyticDB for MySQL 2.0集群中的数据导入到 数仓版（3.0）。具体操作，请参见 数据迁移。准备工作 了解 ...
审计日志
数仓规划日志事件 事件名称 事件说明 数据板块 AdminAddBizUnit 用户创建数据板块（原业务板块）。AdminChangeBizUnit 用户修改数据板块（原业务板块）。AdminDeleteBizUnit 用户删除数据板块（原业务板块）。主题域 AddDataDomain 新增...
数据开发概述
DataWorks数据开发（DataStudio）模块用于定义周期调度任务的开发及调度属性，与运维中心配合使用，面向各引擎（MaxCompute、Hologres、EMR等）提供可视化开发主界面，支持智能代码开发、多引擎混编工作流、规范化任务发布等能力，帮助您...
概述
资源授权说明 权限列表 说明 授予数据门户权限 支持授予编辑数据门户的权限、查看或导出数据门户菜单内容的权限。编辑：用于设置数据门户的编辑权限。授权后，权限生效的用户可以协同编辑该数据门户，同时也支持查看或导出该数据门户。导出...
创建Hologres内部表
创建表的用户具备开发权限角色，空间管理员 或 开发。授权详情请参见 空间级模块权限管控。背景信息 Hologres的表类型分为内部表和外部表，其区别如下：内部表：可直接存储MaxCompute源数据。您可将MaxCompute源表数据同步至Hologres内部表...
BigQuery数据迁移至MaxCompute
前提条件 类别 平台 要求 参考文档 环境及数据 谷歌云GCP 已开通谷歌BigQuery服务，并准备好环境及待迁移的数据集。已开通谷歌Cloud Storage服务，并创建存储分区（Bucket）。如果您没有相关环境及数据集，可参考如下内容准备：BigQuery：...
用户权限说明
MySQL 数据库作为源端的权限说明 数据库用户需要对待迁移的数据库具备读权限。如果是 MySQL 数据库 V8.0，请额外赋予 SHOW VIEW 权限。GRANT SELECT ON<database_name>.*TO '<user_name>';MySQL 数据库增量同步时，数据库用户需要具备 ...
准备工作
开通企业数据智能平台 企业数据智能平台默认为关闭状态，使用前需要前往 AnalyticDB PostgreSQL版 控制台开通。登录 云原生数据仓库AnalyticDB PostgreSQL版控制台。在控制台左上角，选择实例所在地域。单击左侧导航栏中的 数据平台。单击 ...
应用成员管理
添加成员 登录 数据资源平台控制台。在页面右上角，单击 图标，选择 系统设置。在页面左侧导航栏，单击 应用管理。在应用管理列表选择目标应用，单击 操作 列中的 成员管理。在 成员管理 面板中，单击 添加成员。在 添加成员 对话框中，...
创建并使用MaxCompute资源
说明 开发环境和生产环境的数据源信息存在差异，查询对应环境的表、资源等操作前，请先明确相应环境的数据源信息。查看不同环境对应的MaxCompute数据源信息，详情请参见 查看MaxCompute数据源。资源管理 DataWorks仅支持查看与管理通过...
准备环境
实名认证，详情请参见 个人实名认证 背景信息 本次实验涉及的阿里云产品如下：大数据计算服务 MaxCompute 数据工场 DataWorks 人工智能平台 PAI MaxCompute DataWorks PAI 开通大数据计算服务MaxCompute 说明 如果您已经开通MaxCompute，请...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、...，帮助用户构建和持续优化的大数据体系架构...
准备工作
说明 普通用户角色可申请相关数据库的权限，并进行数据（表结构）的查询与变更。可以是企业的研发人员、测试人员、产品人员、运营人员、数据分析师等。操作步骤 以管理员账号，登录 数据管理DMS 5.0。创建两个引擎类型为MySQL的安全规则...
新建Amazon S3数据源
更多信息，请参见 数据源权限说明。操作步骤 在Dataphin首页，单击顶部菜单栏的 管理中心。按照下图操作指引，进入 新建数据源 页面。在 新建数据源 对话框的 文件 区域，选择 Amazon S3。如果您最近使用过Amazon S3，也可以在 最近使用 ...
核心能力
数据资源平台提供了一站式数据资产定义、生产、管理与服务平台，提供企业级数据资产构建能力和一致性使用体验，助力客户快速构建数据智能平台，实现数据资源统一管理，挖掘潜在规律，优化业务决策，让大数据真正的驱动客户业务。...
通过RAM角色授权模式配置数据源
说明 如果未被授权的RAM用户通过 RAM角色授权模式 创建数据源，则通过RAM角色授权模式数据源配置的同步任务都将运行失败。数据源的创建者进入DataWorks数据集成，以 RAM角色授权模式 创建数据源，实现运行同步任务时，以DataWorks服务账号...
授予用户资源权限
当其他用户也需要协同编辑该工作空间下的数据门户时，请单击 同步用户权限设置，选中目标用户并单击 同步 即可。请参见 设置同步授权。授予某用户数据作品权限 权限管理员登录 Quick BI控制台，在集中授权中，对指定用户赋予资源权限。按照...
数据门户
权限管理员可以为数据门户资源授予编辑数据门户的权限、导出或查看数据门户菜单内容的权限。背景信息 权限管理员授予用户权限时，在协同状态和私密状态下的权限属性有所不同，见下图。其中，协同权限之间存在以下关系：编辑权限：当用户...
MaxCompute数据权限控制详情
后续步骤 MaxCompute可跨项目访问资源，所以在DataWorks中，开发人员可以在数据开发界面直接访问生产环境下的资源，您可以通过 场景：MaxCompute引擎在不同模式工作空间访问资源与权限说明 了解工作空间成员如何跨项目访问资源。
资源组说明
按使用场景，资源组分为两类：系统资源组：由数据资源平台提供，供所有用户使用，对于QPS和并发有限制，适用于POC或测试场景。自定义资源组：需要用户挂载自有K8s，部署内置应用后注册成资源组。可根据用户需要自由组合，适用于高级用户。...
数据查询与分析管控
说明 数据分析支持的数据源类型（包括引擎数据源和自建数据源），详情请参见 SQL查询支持的数据源。角色限制 租户管理员、租户安全管理员 角色权限，可对当前租户下所有工作空间的数据源进行授权。空间管理员 角色权限，仅支持授权用户所...
多方数据融合计算
场景介绍 以某数据平台公司业务场景为例，该平台通过合法渠道，经用户授权后，收集了用户信息，生成用户画像表（portrait），可以授权第三方（例如保险公司）使用数据进行多方数据融合计算，实现联合营销。手机号（phone）年龄（age）是否...
数据权限管理
EMAS Serverless提供了一套简明易懂的安全规则方案用来控制 客户端应用侧 用户对资源的访问，保障数据安全，概念上近似于Linux的文件权限体系。对于云数据库，您可以在控制台上通过配置权限规则来管理数据集合的读写权限。说明 从控制台、...
快速体验
数据治理：大数据开发治理平台 DataWorks数据质量（必选）、大数据开发治理平台 DataWorks数据地图（必选）、大数据开发治理平台 DataWorks数据保护伞（必选），基础版DataWorks已包含。数据展示：智能分析套件Quick BI（必选），您可根据...
资源组说明
按使用场景，资源组分为两类：系统资源组：由企业数据智能平台提供，供所有用户使用，对于QPS和并发有限制，适用于POC或测试场景。自定义资源组：需要用户挂载自有K8s，部署内置应用后注册成资源组。可根据用户需要自由组合，适用于高级...
- 产品推荐
- 这些文档可能帮助您