简介
数据工作站可以结合大语言模型给业务开发、数据开发、分析师和数据运营同学赋能，提升数据交付效率和数据自助分析的效率。当您需要将查询的数据、测试的数据、以及数据变化趋势等信息，以文档的形式进行交付，并在交付后，希望有可以替您...
什么是云数据库Cassandra
理由三：大数据存储的利器、方便搭配X-Pack Spark Spark是目前主流默认的大数据处理引擎，Cassandra是目前主流的BigData NoSQL数据库。Cassandra+Spark可以处理风控、推荐、物联网等很多数据驱动的业务。阿里云数据库团队也提供了X-Pack ...
创建Hologres数据源
如果您使用的是Hologres，在对接Dataphin进行数据开发时，您需要先完成Hologres数据源的创建。更多Hologres信息，请参见 什么是实时数仓。使用限制 Dataphin仅支持超级管理员、数据源管理员、板块架构师、项目管理员角色创建数据源。操作...
创建EMR Hive节点
前提条件 数据开发（DataStudio）中已创建业务流程。数据开发（DataStudio）基于业务流程对不同开发引擎进行具体开发操作，所以您创建节点前需要先新建业务流程，操作详情请参见 创建业务流程。已创建阿里云EMR集群，并注册EMR集群至...
将云消息队列 Kafka 版的数据迁移至MaxCompute
本文以 select*from testkafka 为例，具体步骤如下：登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。在 临时查询 面板，右键单击 临时查询，选择 新建节点>ODPS SQL。...
创建EMR Impala节点
前提条件 数据开发（DataStudio）中已创建业务流程。数据开发（DataStudio）基于业务流程对不同开发引擎进行具体开发操作，所以您创建节点前需要先新建业务流程，操作详情请参见 创建业务流程。已创建阿里云EMR集群，并注册EMR集群至...
MaxFrame概述
MaxFrame是由阿里云自研的分布式计算框架，支持Python...面向Data+AI开发，需要依赖第三方或自定义镜像完成数据开发、模型开发等整体流程。支持的工具 MaxFrame支持在本地环境、DataWorks、MaxCompute Notebooks中使用。详情请参见 准备工作。
大数据AI公共数据集分析
教程简介 阿里云DataWorks基于多种大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。本教程通过DataWorks，联合云原生大数据计算服务MaxCompute，使用大数据AI公共数据集（淘宝、飞猪、阿里音乐、...
创建CDH Spark节点
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。右键单击某个业务流程，选择 新建节点>CDH>CDH Spark。在 新建节点 对话窗中，配置节点的引擎实例、...
创建CDH Hive节点
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。右键单击某个业务流程，选择 新建节点>CDH>CDH Hive。说明 鼠标悬停至顶部 新增 按钮，根据界面提示...
开发ODPS Spark任务
说明 该方式使用DataWorks提供的默认Python环境，可直接依赖的三方包有限，若默认环境无法满足PySpark作业第三方依赖包的需求，可参考下文《开发语言：Python（使用自定义Python环境实现）》方式，自行准备Python环境执行任务。当然，您也...
创建CDH Presto节点
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。右键单击某个业务流程，选择 新建节点>CDH>CDH Presto。说明 鼠标悬停至顶部 新增 按钮，根据界面...
用户价值
数据开发更简单：平台提供的各种工具产品能够极大的简化数据开发过程，缩短数据治理周期，降低数据治理成本。通过标准化、精细化、规格化的智能数据生产流程，完成流水线式的数据生产作业，提升数据资源生产效率、消除数据供应品质差异。...
创建CDH MR节点
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。右键单击某个业务流程，选择 新建节点>CDH>CDH MR。在 新建节点 对话窗中，配置节点的引擎实例、...
创建EMR Spark SQL节点
前提条件 数据开发（DataStudio）中已创建业务流程。数据开发（DataStudio）基于业务流程对不同开发引擎进行具体开发操作，所以您创建节点前需要先新建业务流程，操作详情请参见 创建业务流程。已创建阿里云EMR集群，并注册EMR集群至...
开发ODPS Spark任务
说明 该方式使用DataWorks提供的默认Python环境，可直接依赖的三方包有限，若默认环境无法满足PySpark作业第三方依赖包的需求，可参考下文《开发语言：Python（使用自定义Python环境实现）》方式，自行准备Python环境执行任务。当然，您也...
注册CDH或CDP集群至DataWorks
以下简称CDH）和CDP（Cloudera Data Platform，以下简称CDP）集群对接的能力，您可在DataWorks中注册CDH及CDP集群，进行任务开发、调度、数据地图（元数据管理）和数据质量等一系列的数据开发和治理操作。背景信息 CDH是Cloudera的开源平台...
产品优势
AnalyticDB MySQL版 提供融合数据库、大数据技术于一体的云原生企业级数据仓库服务，高度兼容MySQL，支持毫秒级更新，亚秒级查询。无论是数据湖中的非结构化或半结构化数据，还是数据库中的结构化数据，您都可使用 AnalyticDB MySQL 构建...
什么是数据管理DMS
DMS提供全域数据资产管理、数据治理、数据库设计开发、数据集成、数据开发和数据消费等功能，致力于帮助企业高效、安全地挖掘数据价值，助力企业数字化转型。视频介绍 功能特性 详情信息，请参见 功能概览。为什么选择数据管理DMS 全域数据...
数据科学计算概述
同时MaxFrame会将用户提交的作业根据其使用场景自动提交至最优的底层引擎执行（例如SQL Engine、Single Python Engine、Mars Engine），用户无需再关注底层执行引擎的选择，从而高效地完成数据开发分析以及AI训练推理全过程，拉通Data+AI...
资产安全概述
密切结合生产开发场景：在开发生产过程中，资产安全与数据流转场景紧密结合，保障在Dataphin数据开发周期中的数据安全。相关概念 模块 概念 概念解释 敏感数据识别 数据分级 数据分级是对数据的敏感等级的设定，用于对数据的敏感等级进行...
赋值节点
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。进入节点创建入口。在数据开发页面基于具体业务流程创建节点，并根据界面指引配置节点的名称、路径...
资产安全概述
密切结合生产开发场景：在开发生产过程中，资产安全与数据流转场景紧密结合，保障在Dataphin数据开发周期中的数据安全。相关概念 模块 概念 概念解释 敏感数据识别 数据分级 数据分级是对数据的敏感等级的设定，用于对数据的敏感等级进行...
开通DataWorks服务
成功登录后，即可进入 申请免费试用DataWorks 页面，左侧导航栏产品类别选择 大数据计算>数据开发与服务，单击 大数据开发治理平台DataWorks 产品的 立即试用。在弹出的购买试用面板选择开通的地域，勾选服务协议后单击 立即试用。开通...
创建EMR Shell节点
登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。创建 业务流程。如果您已有 业务流程，则可以忽略该步骤。鼠标悬停至 图标，选择 新建业务流程。在 新建业务流程 ...
在PyODPS节点中调用第三方包
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。创建Python资源。在 DataStudio（数据开发）页面，鼠标悬停至 图标，单击 新建资源>Python。您也...
创建Hologres数据源
如果您使用的是Hologres，在对接Dataphin进行数据开发时，您需要先完成Hologres数据源的创建。更多Hologres信息，请参见 什么是实时数仓。使用限制 Dataphin仅支持超级管理员、数据源管理员、板块架构师、项目管理员角色创建数据源。若您需...
创建MaxCompute数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 Endpoint MaxCompute的Endpoint...
创建MaxCompute数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 Endpoint MaxCompute的Endpoint...
功能特性
JDBC连接 阿里云产品集成 数据开发 DataWorks DataStudio 基于MaxCompute项目通过DataWorks DataStuido以可视化方式实现全方位的数据开发、数据集成、数据服务等功能，支持周期性调度作业。数据开发 DataWorks DataStudio 数据分析 SQL查询...
新功能发布记录
2023-08-02 产品规格 购买方式 2023年07月 项目管理 功能名称 功能描述 发布时间 相关文档 数据资产关联 在应用和业务逻辑开发中，如需使用数据服务自定义API和数据表等数据资产，必须先在IoT Studio项目中进行关联。2023-07-31 项目 2023...
周期任务基本运维操作
节点 版本 如果通过发布流程发布的操作无详细记录，您可以在数据开发界面，通过节点版本与生产环境版本对比，获取版本变更的详细情况。详情请参见：发布任务。操作历史 操作历史可以查看任务、实例、基线的操作记录。需求请参见：查看运维...
数据开发与运维中心：数据加工
DataWorks的 数据开发（DataStudio）是数据加工的开发平台，运维中心 是智能运维平台，基于这两个功能模块，您可以在DataWorks上规范、高效地构建和运维数据开发工作流。功能概述 DataWorks的数据开发的亮点功能如下。DataStudio支持...
创建PolarDB数据源
如果您使用的是PolarDB，在对接Dataphin进行数据开发时，您需要先完成PolarDB数据源的创建。更多PolarDB信息，请参见 什么是PolarDB。权限说明 Dataphin仅支持 超级管理员、数据源管理 员、板块架构师、项目管理员 角色创建数据源。操作...
创建ClickHouse数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 JDBC URL ClickHouse的连接地址...
什么是Dataphin
在您开始数据开发前，需要完成数据仓库的规划，包括定义业务板块、数据域、项目、数据源、计算源和统计周期。数仓规划 数据引入 基于全局设计定义的项目空间与物理数据源，将各业务系统、各类型的数据抽取加载至目标数据库。这个过程可以...
创建PolarDB数据源
如果您使用的是PolarDB，在对接Dataphin进行数据开发时，您需要先完成PolarDB数据源的创建。更多PolarDB信息，请参见 什么是PolarDB。前提条件 若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至...
产品简介
数据源 提供数据的源点，会根据这些数据来构建私域知识库，用于后续的检索、知识问答 大模型 大规模预训练语言模型是指使用海量文本数据进行预训练的语言模型。它通过学习大量的语言知识和语境信息，能够生成高质量的文本或提供语义理解。...
产品优势
可视化数据开发，更多信息，请参见 任务编排概述。混合编排模式：任务流支持多种引擎混合编排，支撑复杂业务流程。复杂任务管理与调度：结合DMS账号与数据权限管理机制，能够进行复杂任务的管理与调度，提升开发过程的安全性。运维机制完善...
概述
群体稳定性指标PSI 免费体验 您可以前往 PolarDB for AI：在数据库中通过SQL实现AI能力 免费体验PolarDB for AI的能力，如：体验大模型数据推理和交互 体验在PolarDB数据库中无缝使用AI能力 体验在PolarDB数据库中通过自然语言来驱动数据...
- 产品推荐
- 这些文档可能帮助您