功能概览

什么是流式ETL 数据开发 任务编排 用于编排各类任务并进行调度执行,通过创建一个或多个任务节点组成的任务流,实现复杂的任务调度,提高数据开发效率。概述 数仓开发 数仓开发通过项目空间、业务场景和任务流三级目录进行项目管理,同时...

应用示例:数据开发过程触发事件检查

本文将为您介绍数据开发DataStudio中支持的扩展点事件,以及使用扩展点触发扩展程序的操作过程。前提条件 已开启消息订阅操作,详情请参见 开启消息订阅。已完成扩展程序的开发部署操作,详情请参见 开发部署扩展程序。背景信息 启动扩展...

DataWorks HoloStudio下线公告

尊敬的DataWorks用户:为给您提供一致的开发体验,DataWorks>HoloStudio 产品能力将整合至 DataWorks>数据开发(DataStudio)中,从 2024年2月29日 开始,HoloStudio将不再提供服务,届时您可使用DataStudio相关功能继续进行Hologres的数据...

MaxFrame概述

使用场景 MaxCompute MaxFrame使用场景如下:熟悉Python开发生态,需要开箱即用的Python开发环境,并快速进行数据科学、大规模数据处理及交互式数据探索等开发。处理数据量大、处理逻辑复杂,需要基于MaxCompute海量数据及弹性计算资源、...

运行历史

运行历史面板为您展示最近三天您在数据开发界面运行过的所有任务记录,单击相应的任务,即可查看运行日志。说明 运行历史 界面只展示当前账号在数据开发(DataStudio)最近三天的运行记录。如您需查看调度任务每日运行情况,请前往 运维...

流程管控

DataWorks提供了全链路的数据开发治理能力,为您提供了统一的数据开发治理流程,同时也支持您在DataWorks的默认流程上基于自己的业务需求在关键的流程节点进行流程管控。本文为您介绍DataWorks在数据开发过程中支持的流程管控能力。背景...

DataWorks OpenAPI概述

DataWorks为您提供了涵盖租户、元数据、数据开发、运维中心、数据集成等多个功能模块的OpenAPI接口,不同API的QPS限制、每日调用次数上限和支持使用的DataWorks服务版本存在差异。您可参考本文了解各OpenAPI支持的DataWorks版本及地域、...

HoloStudio(即将下线)

为给您提供一致的开发体验,DataWorks>HoloStudio 产品能力将整合至 DataWorks>数据开发(DataStudio)中,从 2024年2月29日 开始,HoloStudio将不再提供服务,届时您可使用DataStudio相关功能继续进行Hologres的数据开发。针对已存在于...

简介

数据工作站可以结合大语言模型给业务开发、数据开发、分析师和数据运营同学赋能,提升数据交付效率和数据自助分析的效率。当您需要将查询的数据、测试的数据、以及数据变化趋势等信息,以文档的形式进行交付,并在交付后,希望有可以替您...

移动分析简介

MAS 通过统计和分析客户端流量、性能质量和用户行为等数据用数据实现产品、运营、推广的决策;通过对闪退的分析,快速定位闪退原因,提高程序稳定性。组件原理 MAS 涉及的相关组件介绍如下:mdap:日志采集网关,负责收集客户端埋点日志...

创建RocketMQ数据

说明 通常情况下,生产数据源和开发数据源需配置非同一个数据源,以使开发数据源与生产数据源的环境隔离,降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源,即相同参数值。参数 描述 Endpoint RocketMQ实例的...

DataWorks快速入门指引

DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎,为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台,为了便于新用户快速了解DataWorks的数据开发治理操作全流程,DataWorks为您提供了...

DataWorks各版本详解

专业版 基于DataWorks标准版,增加更专业的数据安全功能,同时增强数据治理、数据服务的功能,完善的数据开发与运维功能,提供产品化的数据治理、数据安全解决方案。此版本适合中小型企业使用。企业版 基于DataWorks专业版,在该版本上您...

独享数据集成资源组

数据集成任务高并发执行且无法错峰运行的情况下,需要专有的计算资源组来保障数据快速、稳定的传输时,建议您选择使用DataWorks的独享数据集成资源组。本文为您概要介绍独享数据集成资源组。功能介绍 独享数据集成资源组的功能亮点如下:...

安全中心

数据管理和安全中心是什么关系?为什么在申请时,有时可以选择字段,有时不可以选择?提交申请后,需要谁进行审批?为什么提交了一个申请,在我的申请中却看到两个申请单?为什么有的字段只申请1个月权限,审批完成后查看变为永久?为什么...

创建Aliyun HBase数据

说明 通常情况下,生产数据源和开发数据源需配置非同一个数据源,以使开发数据源与生产数据源的环境隔离,降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源,即相同参数值。参数 描述 服务类型 根据数据源HBase选择...

数据科学计算概述

背景信息 Python作为目前机器学习、AI模型开发的主流编程语言,提供了如NumPy、SciPy、Scikit-Learn、Matplotlib等丰富的科学计算、可视化库,用于数据科学和数据分析。同时支持TensorFlow、PyTorch、XGBoost、LightGBM等丰富的训练框架。...

阶段一:基础防护建设

在该阶段,DataWorks为您提供了数据分类分级、规范数据开发流程、企业级身份认证、开源身份隔离等多个场景的最佳实践,帮助企业做好数据安全治理的相关基础防护工作。场景一:数据分级分类 无论在任何行业,数据分级分类都是监管首要检查的...

功能特性

配置管理 数据保护 敏感数据管理 DMS的敏感数据保护能力能根据所选的敏感数据扫描模板、敏感数据识别模型以及脱敏算法对数据进行脱敏处理,以避免敏感数据滥用,有效保护企业的敏感数据资产,防止数据泄露造成企业经营资金损失或罚款。...

概述

如果您在2022年2月21日21点前未使用过数据开发功能,推荐您通过EMR Workflow进行数据开发,详情请参见 什么是EMR Workflow。如果您在2022年2月21日21点前使用过数据开发功能,需要继续在EMR上使用数据开发功能,建议您尽快迁移到EMR ...

创建Hologres数据

说明 通常情况下,生产数据源和开发数据源需配置非同一个数据源,以使开发数据源与生产数据源的环境隔离,降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源,即相同参数值。参数 描述 Endpoint Hologres实例的...

创建PolarDB数据

数据源配置 基于业务数据源是否区分生产数据源和开发数据源:如果业务数据源区分生产数据源和开发数据源,则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源,则选择 生产数据源。标签 您可根据标签给数据源进行分类...

创建Log Service数据

在引入Log Service的业务数据至Dataphin中进行数据开发的场景中,您需要先创建Log Service数据源。本文为您介绍如何创建Log Service类型的数据源。背景信息 Log Service即阿里云日志服务,如果您使用的是阿里云日志服务,在对接Dataphin...

新功能发布记录

什么是数据管理DMS 02月 功能名称 变更类型 功能描述 相关文档 数据库迁移 新增 通过产品化解决方案的封装,实现数据库迁移、校验和清理的闭环操作。同时支持库名称修改、迁移前预校验、迁移后数据一致性校验及来源数据库的清理,保证数据...

数据可视化概览

背景信息 DMS为您提供了数据数据管理的能力,同时通过SQL Console控制台为您提供以表格形式查询数据的方式,但对于需要通过分析数据去发现业务特性,比如分析趋势、增长对比等场景,单纯的表格无法满足需求,需要把数据可视化才可以支撑...

什么是云数据库Cassandra

ApsaraDB for Cassandra是基于开源Apache Cassandra,融合阿里云数据库DBaaS能力的分布式NoSQL数据库。Cassandra已有10年多的沉淀,基于Amazon DynamoDB的分布式设计和Google Bigtable的数据模型。具备诸多优异特性:采用分布式架构、无...

常见问题

魔笔为什么数据容器数据源选择处看不到已有逻辑流?为什么导航不显示或显示不全?魔笔如何发布一个简单的API?开发者中心 魔笔中内存实体和实体有什么区别?魔笔当前版本的UI主题怎么没有了?魔笔目前加密是只支持RSA吗?魔笔是否支持外部...

EMR数据开发(旧版)停止全面支持公告

E-MapReduce(简称EMR)数据开发(旧版)已于2022年2月21日21点停止更新,进入维护状态,详情请参见 EMR数据开发停止更新公告。2023年9月30日0点起,EMR数据开发(旧版)功能将停止全面支持,不再支持用户答疑、问题解决、SLA保障赔付等...

数据开发与运行

本文为您介绍数据开发的相关问题。资源 如何在pyodps调用第三方包?如何在节点内使用资源?如何下载上传到DataWorks的资源?超过30M的资源如何上传?通过odpscmd上传的资源如何在DataWorks上使用?在DataWorks如何上传自己本地编写的jar并...

基本概念

元数据 元数据是数据的描述数据,可以为数据说明其属性(名称、大小、数据类型等),或结构(字段、类型、长度等),或其相关数据(位于何处、拥有者、产出任务、访问权限等)。DataWorks中元数据主要指库、表相关的信息,元数据管理对应的...

建模空间

当您所需要管理多个DataWorks工作空间且需要复用一套数仓规划时,面对跨多个工作空间的复杂数据体系,可以通过设计空间来共享一套数据建模工具,针对整个数据体系进行统一的数仓规划、维度建模及指标定义等工作。本文为您介绍DataWorks建模...

创建EMR Presto节点

Presto(即PrestoDB)是一款灵活、可扩展的分布式SQL查询引擎,支持使用标准的SQL查询语言进行大数据的交互式分析查询(Presto概述),DataWorks为您提供EMR Presto节点,便于您在DataWorks上进行Presto任务的开发和周期性调度。...

什么是Dataphin

Dataphin是阿里巴巴集团OneData数据治理方法论内部实践的云化输出,一站式提供数据采、建、管、全生命周期的大数据能力,以助力企业显著提升数据治理水平,构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin兼容多种计算...

入仓解决方案

支持的数据库部署位置 有公网IP的自建数据库 无公网IP:Port的数据库(通过数据库网关DG接入)通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能...

创建逻辑模型:维度表

存储策略 维度表基于什么策略(即存储数据的时间周期及数据量范围)存储数据。维度 维度表关联的维度,用于配置维度表分析数据的视角。说明 创建维度,详情请参见 创建概念模型:维度。表名规则 通过已配置的检查器规范维度表的命名规则。...

客户案例

南京银行 公司介绍 南京银行成立于 1996 年 2 月 8 ...张炜宇 阿里妈妈基础共享技术开发平台总监“OceanBase 很好的满足了我们广告业务对于存储系统扩展性,并行计算,统计计算,高吞吐,低时延,资源隔离等大数据处理的需求...

场景:工作空间模式升级(简单模式升级标准模式)

数据源未绑定至数据开发 复制一份生产环境的数据源至开发环境,并将开发环境数据源的 默认访问身份 配置为 执行者。若简单模式工作空间数据源(即生产环境数据源)的 默认访问身份 为 任务责任人,则升级之后,生产环境数据源的 默认访问...

FTP数据

不写"nullFormat"这个参数,等同于“未配置”,代表来源是什么数据就直接按照什么数据写入目标端,不做任何转换。否 无 markDoneFileName 标档文件名,数据同步前检查标档文件。如果标档文件不存在,等待一段时间重新检查标档文件,如果...

我是安全管理员

集成与开发(DTS)数仓开发 数仓开发数据库为主要计算引擎,融合数据库生态中多种工具和服务(如DTS、DLA等),让用户可以轻松拥有数据仓库进行开发和管理。任务编排 任务编排主要用于编排各类任务并进行调度执行,通过创建一个或多个...

创建PolarDB-X数据

说明 通常情况下,生产数据源和开发数据源需配置非同一个数据源,以使开发数据源与生产数据源的环境隔离,降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源,即相同参数值。参数 描述 JDBC URL 链接地址的格式为 ...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
阿里邮箱 云数据库 RDS 数据库备份 弹性公网IP 短信服务 人工智能平台 PAI
新人特惠 爆款特惠 最新活动 免费试用