了解数据资源平台用户和角色体系

一个租户可创建并管理多个工作组,满足同一组织不同部门或业务场景下的数据开发需求。什么是工作组 工作组是数据资源平台中进行数据研发的基本单元,用于数据隔离的命名空间,通常为一个用户组、一个项目或一个应用。工作组内的数据通常为...

文档修订记录

DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务,需先将已创建的数据源或集群绑定至数据开发...

数据迁移与同步FAQ

DTS的数据迁移与数据同步工作原理是什么?DTS的数据迁移与数据同步有什么区别?使用DTS遇到预检查报错,如何解决?什么是数据迁移、数据同步?数据迁移:将Redis数据库中的数据(即键值对)迁移至另一个Redis数据库中。通常迁移完成后即可...

规划工作空间

通常来说,开发环境的数据读、写权限为各工作空间的“开发”角色共享,而生产环境的数据权限为生产账号独有 数据质量 各工作空间之间的数据质量是 完全隔离 的。仅对应工作空间的“开发”、“运维”或“管理员”角色具备配置数据质量规则的...

数据开发与运维中心:数据加工

功能概述 DataWorks的数据开发的亮点功能如下。DataStudio支持MaxCompute、EMR、CDH、Hologres、AnalyticDB、Clickhouse等多种计算引擎,支持在统一的平台上进行各类引擎任务的开发、测试、发布和运维等操作。DataStudio支持智能编辑器、...

开发数据服务API

物联网数据分析的数据开发任务是使用标准的SQL语句对设备进行数据分析,而API服务可将数据开发任务封装成API,方便开发者调用。API服务既可以直接响应设备端请求,也可以用于服务端数据对接。创建数据分析任务 登录数据分析控制台,单击 ...

常见问题

本文介绍在使用图数据库GDB过程中的常见问题。产品介绍 问:什么是图数据库GDB?答:GDB是Graph Database的简写。GDB是一种支持Property Graph图模型、用于处理高度连接数据查询与存储的实时、可靠的在线数据库服务。它支持Apache ...

数据安全治理的难点

使用大数据系统的常见人员包括开发运营、分析师,甚至销售及HR都会来查询自己所需的数据。如此多类型的用户,授权、管理难度加大,什么样的人员需要授予什么样的权限?如果他们离职、换部门了怎么办?这其中很有可能出现 权限蠕变、过度...

常见问题

本文汇总了 云数据库ClickHouse 的常见问题及解决方案。选型与购买 云数据库ClickHouse和官方版本对比多了哪些功能和特性?购买实例时,推荐选择哪一个版本?单双副本实例各有什么特点?购买链路资源时显示“当前区域资源不足”,应该如何...

小程序分析简介

mPaaS 小程序分析是面向小程序开发者、运营者提供的数据分析组件。该组件提供支付宝、微信、mPaaS 小程序平台数据统计能力,支持对三大平台的小程序进行全面的数据分析,统计分析数据可视化展现,一目了然,协助产品运营决策,驱动产品体验...

在工作空间创建数据源或注册集群

工作空间创建完成后,您需要先将您的数据库或数据仓库,通过创建数据源的方式添加至DataWorks工作空间,或将您的集群注册至DataWorks工作空间,以便进行数据同步、数据分析与开发、数据调度等操作。本文主要以使用正式开发环境为例,为您...

高效数据治理实施指南

背景信息 在多人协作的数据团队中,数据治理是重要且繁琐的工作,在解决“如何制定客观的数据治理目标”、“如何高效推动团队达成治理目标”的过程中,通常包含以下挑战:问题难定位:传统数据治理方式难以快速、完整、精准地定位潜在问题...

产品简介

DLA Ganos是基于云原生数据湖分析(Data Lake Analytics,DLA)系统设计开发的,面向时空大数据存储与计算的数据引擎产品。基于DLA无服务器化(Serverless)数据湖分析服务与内置的Spark计算引擎,DLA Ganos打通了阿里云各个存储系统,如...

SQL其他常见问题

在执行MaxCompute SQL过程中,对DOUBLE类型的数据进行等值比较,为什么结果不符合预期?如何解决DECIMAL数据类型精度溢出问题?新创建的MaxCompute项目不支持数据类型自动隐式转换,如何解决?查询数据时,提示XXXtypeisnotenabled ...

快速体验

DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力,本文以一个零售电商行业的数仓搭建实验为例,为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现,帮助您深入了解阿里云...

概述

数据开发 核心功能如下:文件夹 用于存放并管理数据库中的数据开发节点。详情请参见 文件夹。Hologres开发 用于周期性调度作业。详情请参见 Hologres开发:周期性调度。一键MaxCompute表结构同步 支持使用可视化方式批量创建外部表,加速...

数据开发与运行

本文为您介绍数据开发的相关问题。资源 如何在pyodps调用第三方包?如何在节点内使用资源?如何下载上传到DataWorks的资源?超过30M的资源如何上传?通过odpscmd上传的资源如何在DataWorks上使用?在DataWorks如何上传自己本地编写的jar并...

功能概览

概述 数仓开发 数仓开发通过项目空间、业务场景和任务流三级目录进行项目管理,同时支持数仓分层管理,有利于清晰地管理某一情景下的数据仓库管理需求,充分满足各类复杂的数仓开发和管理需求。创建项目空间 数据应用 数据服务 为企业提供...

创建ClickHouse数据

后续操作 数据源创建完成后,您可根据需要执行如下操作:计算任务开发与调度:DataWorks的数据开发与运维中心模块,为您提供ClickHouse任务的开发与调度能力,若您需要基于该ClickHouse数据源进行ClickHouse任务开发,或周期性调度...

必读:简单模式和标准模式的区别

绑定后不同工作空间模式下,DataWorks模块对应操作的数据源如下表所示:DataWorks模块 标准模式 简单模式 数据开发 操作开发环境数据源(实例,项目、数据库)操作生产环境数据源(实例,项目、数据库)运维中心 开发环境运维中心:操作...

通用数据开发

数据开发的流程如下所示:数据产生:业务系统每天会产生大量结构化的数据,存储在业务系统所对应的数据库中,包括MySQL、Oracle和RDS等类型。数据收集与存储:您需要同步不同业务系统的数据至MaxCompute中,方可通过MaxCompute的海量数据...

数据分析:即时快速分析

数据分析基于“人人都是数据分析师”的产品目标,旨在为更多非专业数据开发人员,如数据分析、产品、运营等工作人员提供更加简洁高效的取数、数工具,提升大家日常取数分析效率。功能概述 数据分析支持基于个人视角的数据上传、公共数据...

写入与查询

常见问题概览 湖仓版(3.0)集群是否支持通过JDBC方式查询Hudi表的数据?湖仓版(3.0)集群是否支持读取OSS中的Hudi表数据?湖仓版(3.0)集群是否支持自动切换在线作业和离线作业?湖仓版(3.0)集群如何选择XIHE MPP还是XIHE BSP来执行...

创建AnalyticDB for PostgreSQL数据

若地域不一致,则只能创建为跨地域的数据源,此类数据源无法在DataWorks的数据开发(DataStudio)模块绑定,即无法用于数据开发或周期性调度任务,仅可进行数据同步任务。已购买所需的DataWorks资源组并完成资源组配置。AnalyticDB for ...

创建AnalyticDB for MySQL3.0数据

若地域不一致,则只能创建为跨地域的数据源,此类数据源无法在DataWorks的数据开发(DataStudio)模块绑定,即无法用于数据开发或周期性调度任务,仅可进行数据同步任务。已购买所需的DataWorks资源组并完成资源组配置。AnalyticDB for ...

数据下载

在DataWorks的数据开发(DataStudio)、数据分析、安全中心模块下载的CSV、XLSX格式文件数据将同步保存至数据下载功能。通过该功能,您可将所需历史下载文件重新下载至本地使用,也可追溯历史下载记录的操作详情。前提条件 已通过如下模块...

调度参数

调度参数往前取一个小时,如何处理跨天参数替换的问题 问题描述 表分区格式 day=yyyymmdd,hour=hh24,执行时小时会取上个小时的数据,使用$[yyyymmdd]$[hh24-1/24]参数可以满足,但0点时会变成当天的23点,该情况如何处理?解决办法 您可...

常见问题

本文汇总了 云数据库 SelectDB 版 的常见问题及解决方案。产品选型 阿里云数据库 SelectDB 版与自建 Apache Doris 数据库对比,有哪些优势?计费 为什么包年包月实例还会产生后付费账单?应用场景 云数据库 SelectDB 版可以应用在哪些场景...

公告

资产治理功能全面升级:研发事中治理优化,创建逻辑表时可为字段设置资产治理相关属性,例如为字段匹配词根、关联数据标准、快速创建质量监控(设置字段是否唯一、是否为空)和指定字段的数据安全分类;创建离线物理表时也可为字段设置资产...

产品概述

具有丰富的数据可视化编辑能力、专业的地理信息可视化展示能力和灵活开发的部署方式等特点,详情请参见 什么是DataV数据可视化。DataV-TwinFabric 孪生仿真 DataV-TwinFabric孪生仿真平台是阿里云为数字孪生领域提供的一站式开发平台,旨在...

业务逻辑

本文介绍使用业务逻辑开发工具中相关常见问题及解决方法。MQTT发布节点的消息包内容格式是什么?消息包内容是要发送的消息实体,必须为二进制格式的数据。更多信息,请参见 MQTT发布。云数据库MySQL节点是否支持跨地域使用?支持。更多信息...

使用DataWorks(离线与实时)

MaxCompute支持通过DataWorks 数据集成 功能将其他数据源的数据以离线或实时方式导入MaxCompute,也支持将部分类型的本地文件数据导入MaxCompute。本文为您介绍使用DataWorks将数据导入MaxCompute的主要操作流程与注意事项。前提条件 已...

HoloStudio一键迁移至DataStudio

为给您提供一致的开发体验,HoloStudio产品能力将整合至DataStudio中,届时您可使用DataStudio相关功能继续进行Hologres的数据开发。在指定时间内,您可参考本文手动迁移HoloStudio的已有文件至DataStudio;超过该时间,系统将自动为您完成...

概述

DataWorks为您提供了多个实验教程,帮助您从前期的环境准备、数据采集,到后期的数据开发、结果展示,端到端了解DataWorks使用的全流程,更加熟悉产品的核心功能。DataWorks目前提供的产品教程如下:简单开发应用教程 简单用户画像分析...

用户授权与管理

角色规划 使用数据建模并应用至数据开发的过程中,通常需要进行定义标准、数据建模、数据开发、部署运维等任务,下图为您示例不同流程中操作人员的角色以及所需的角色权限。建议您参考下图进行用户角色及权限规划。开通权限 建议您参考 ...

查看运营数据

本文介绍应用的运营数据。前提条件 已发布应用到生产环境,详细操作请参见 发布到生产环境。操作步骤 在指定应用的应用管理页面,选择 运营信息 页签,查看应用的运营数据。查看当前应用的运营数据,包含本日UV(本日独立IP访问数)、本日...

构建数据仓库

DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力,本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业:全行业...

创建并使用MaxCompute表

进入数据开发(DataStudio)登录 DataWorks控制台,单击左侧导航栏 数据建模与开发>数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。新建MaxCompute表 您可在DataWorks表管理目录中新建,也可在具体业务流程下,针对该业务...

创建数据脱敏场景

脱敏场景介绍 DataWorks提供 数据开发/数据地图展示脱敏、数据分析展示脱敏、MaxCompute引擎层脱敏、Hologres引擎层脱敏 等动态脱敏,及 数据集成静态脱敏 等一级脱敏场景为固定场景,不支持执行新增、编辑、删除等操作。同时,DataWorks...

集成与开发概览

DMS的数据集成与开发功能模块,针对数据全生命周期的集成、开发、服务三个阶段提供界面化的功能支持。功能简介 数据集成与开发功能模块支持多种计算、存储引擎,支持结构化、半结构化、非结构化数据的实时集成、离线集成、开发、服务,能够...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云数据库 RDS 云数据库 Redis 版 数据传输服务 数据库备份 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用