阶段一：基础防护建设
在该阶段，DataWorks为您提供了数据分类分级、规范数据开发流程、企业级身份认证、开源身份隔离等多个场景的最佳实践，帮助企业做好数据安全治理的相关基础防护工作。场景一：数据分级分类 无论在任何行业，数据分级分类都是监管首要检查的...
准备环境
为保证您可以顺利完成本次实验，请您首先确保自己云账号已开通大数据计算服务MaxCompute、数据工场DataWorks和 人工智能平台 PAI。前提条件 注册阿里云账号，详情请参见 注册阿里云账号。实名认证，详情请参见 个人实名认证 背景信息 本次...
数据仓库研发规范概述
在大数据时代，规范地进行数据资产管理已成为推动互联网、大数据、人工智能和实体经济深度融合的必要条件。贴近业务属性、兼顾研发各阶段要点的研发规范，可以切实提高研发效率，保障数据研发工作有条不紊地运作。而不完善的研发流程，会...
客户案例
基于飞天大数据平台产品DataWorks+MaxCompute大大提高了数据业务的开发效率，构建大润发的数据中台体系。新金融行业：某互联网金融公司湖仓一体案例 客户架构如下。客户简介 公司的第一代数据湖是基于Hadoop+OSS搭建的，同时引入的数据中台...
什么是EMR Notebook
EMR Notebook是一个Serverless化的交互式数据分析和探索平台，满足大数据和AI融合下的数据处理需求，为数据工程师、数据分析师和数据科学家提供了可视化的应用程序开发环境。通过EMR Notebook可以完成对SQL、Python、Markdown等多种语言...
DataWorks V3.0
MaxCompute：大数据计算服务MaxCompute（原ODPS）是一种快速、完全托管的EB级大数据计算引擎，是大规模离线数据仓库的核心引擎。MaxCompute是DataWorks最早支持，且最成熟完备的计算引擎，目前已基本覆盖MaxCompute的所有功能。详情请参见 ...
EMR Workbench
阿里云EMR Workbench是一个综合性的大数据分析和开发环境，作为阿里云E-MapReduce的一部分，它提供了EMR Notebook和EMR Workflow两个核心功能。通过EMR Workbench，您可以轻松进行数据开发，以及交互式数据分析，并设计复杂的数据处理工作...
大数据安全治理的难点
流转 大数据系统通常是端到端的一整套数据开发和治理服务，不仅要采集数据、加工数据，更要将数据提供给业务方使用。因此，其存在错综复杂的数据流转链路，包括但不限于即席查询链路、离线传输链路、实时传输链路、数据服务API链路、其他...
DataWorks On Hologres使用说明
创建Hologres数据源 数据开发、数据分析环境准备 基于DataWorks进行Hologres调度任务前，您需先将Hologres实例创建为工作空间的数据源并绑定至数据开发（DataStudio）。绑定后，才可使用该数据源进行相关数据开发、数据分析、周期性调度...
DataWorks On MaxCompute使用说明
权限类别 描述 MaxCompute开发项目权限 DataWorks通过空间级预设角色与开发环境MaxCompute数据源Role的映射关系，让被授予空间角色的RAM用户（子账号）拥有该角色映射的开发数据源权限，默认拥有开发环境对应的数据源项目权限，但无生产...
产品优势
产品功能全 功能涵盖数据传输、开发、生产、治理、安全全领域，每个领域深度覆盖大数据全生命周期，轻松帮助企业应对在搭建数仓、搭建数据中台、数字化转型项目中遇到的难题。支持复杂网络环境、常见数据源的数据同步上云以及实时、历史...
权限管理与规范化数据开发
生产开发数据源 DataWorks支持基于标准模式工作空间对应的两个环境这一特性，来分别为这两个环境配置不同的数据库访问地址。即您可以在数据源配置界面分别为开发环境（DataStudio）测试运行时和生产调度时指定不同的数据库访问地址。同一个...
基于MaxCompute进行大数据BI分析
本实践以电商行业为例，通过MaxCompute、DataWorks对业务数据和日志数据进行ETL处理，并同步至分析型数据库MySQL（AnalyticDB MySQL）进行实时分析，再通过Quick BI进行可视化展示。背景信息 MaxCompute：用于进行大规模数据计算，详情请...
数据库导出
说明 若您使用的是极简模式的控制台，请单击控制台左上角的 图标，选择 全部功能>数据库开发>数据导出>数据库导出。您也可以选择进入SQL窗口，在左侧表列表中，右键单击目标表名，选择 导出，创建数据导出工单。配置数据导出工单的相关信息...
DataWorks On CDP/CDH使用说明
支持的数据源及同步方案 数据开发、数据分析 环境准备 基于DataWorks进行计算引擎任务周期性调度前，您需先将集群添加至DataWorks。添加后，才可使用该集群进行相关数据开发、数据分析、周期性调度运行任务等操作。注册CDH或CDP集群至...
数据开发与运行
本文为您介绍数据开发的相关问题。资源 如何在pyodps调用第三方包？如何在节点内使用资源？如何下载上传到DataWorks的资源？超过30M的资源如何上传？通过odpscmd上传的资源如何在DataWorks上使用？在DataWorks如何上传自己本地编写的jar并...
创建Teradata数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 JDBC URL 链接地址的格式为 ...
创建MaxCompute数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 Endpoint MaxCompute的Endpoint...
数据标准
数据是由特定的环境产生的，这些环境因素包括生产者、时间、系统等，从而造成了同一个语义的数据，有...说明 目前使用DDM进行数据建模可以进行逻辑建模和物理建模，但物理建模仅支持MaxCompute和Hive两种大数据引擎，不支持自定义数据源类型。
自媒体：易撰
所属行业：自媒体 网站地址：易撰 客户介绍 长沙营智信息技术有限公司是专业的新媒体大数据服务商，其旗下知名品牌易撰，基于新媒体大数据挖掘技术及NLP算法分析，为各内容创客、广告主提供全面、科学、精准的大数据分析服务以及大数据架构...
创建GreenPlum数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 JDBC URL 填写目标数据库的JDBC...
新建Doris数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 JDBC URL 请填写数据源的链接...
数据模型概述
DDM目前支持逻辑模型和物理模型建模，其中物理模型又分为关系型数据模型和非关系型数据模型，支持的大数据引擎为MaxCompute、Hive。说明 Hadoop的MR调优参数属于底层，DDM是数据建模工具，支持设置表、字段等物理属性。
创建GreenPlum数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 JDBC URL 填写目标数据库的JDBC...
数据分析作业
MaxCompute是适用于数据分析场景的企业级SaaS模式云数据仓库，支持在多种工具上使用MaxCompute运行大数据计算分析作业。如果您需要进行简单的查询等数据分析作业，推荐您使用SQL查询或DataWorks的临时查询等工具，高效便捷地完成数据分析...
账单数据订阅及查询分析
DataWorks及MaxCompute：DataWorks基于MaxCompute等大数据引擎，支持您在线进行SQL分析、业务洞察、编辑和分享数据，以及将查询结果保存为可视化图表卡片，快速搭建可视化数据报告。订阅账单数据后，用户中心会将相关账单数据同步至指定...
新建TDengine数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。配置 集群配置 区域的参数。参数 描述 ...
MaxFrame概述
您可以用更熟悉、高效、便捷的方式利用MaxCompute的海量计算资源及数据进行大规模数据处理、可视化数据探索分析以及科学计算、ML/AI开发等工作。本文为您介绍MaxFrame背景信息、功能介绍及使用场景。版本说明 当前MaxCompute MaxFrame功能...
创建MaxCompute数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 Endpoint MaxCompute的Endpoint...
数据集成概述
背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优（例如容错，限速，并发）等。...
创建Teradata数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 JDBC URL 链接地址的格式为 ...
将云消息队列 Kafka 版的数据迁移至MaxCompute
本文以 select*from testkafka 为例，具体步骤如下：登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。在 临时查询 面板，右键单击 临时查询，选择 新建节点>ODPS SQL。...
创建Hologres数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 Endpoint Hologres实例的...
创建Hudi数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 存储配置 支持HDFS或OSS存储。...
数据集成概述
背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优（例如容错，限速，并发）等。...
文档修订记录
数据保护伞默认提供了 数据开发/数据地图展示脱敏、数据集成静态脱敏 等多种一级脱敏场景，若该类场景生效的数据范围及用户范围无法满足您更细化的脱敏需求，则也可基于一级场景自定义二级脱敏场景使用。创建数据脱敏场景 2023.11.20 新增...
新建Doris数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 JDBC URL 请填写数据源的链接...
数据分析整体趋势
大数据与数据库一体化：早期大数据技术以牺牲一定程度一致性为基础提供分布式能力，解决了传统单机数据库的扩展性不足问题，在MapReduce基础上提供了标准SQL接口，架构上也逐步采用了部分MPP数据库技术；另一方面，分布式数据库也快速发展...
其他问题
为什么不能在调度资源组上进行大数据计算？其他 如何设置任务优先级？如何查看任务优先级？周期任务与周期实例、补数据实例、测试实例是什么关系？DataWorks每晚将根据周期任务，批量生成第二天自动调度的周期实例，周期实例自动生成并且...
测试数据构建
RDS MariaDB、其他来源MariaDB OceanBase MySQL模式 PolarDB PostgreSQL版（兼容Oracle）背景信息 功能测试或者性能测试时，往往需要准备测试数据，通常有以下几种方法：手工编写：效率低，不适用于大数据量场景。维护生成测试数据脚本：成...
- 产品推荐
- 这些文档可能帮助您