DataWorks On MaxCompute使用说明
节点代码定义：MaxCompute语法 创建并使用MaxCompute表 开发ODPS SQL任务 引用SQL组件 开发ODPS Spark任务 开发PyODPS 2任务 开发PyODPS 3任务 开发ODPS Script任务 开发ODPS MR任务 创建并使用MaxCompute资源 创建并使用自定义函数 您可...
创建FTP数据源
更多信息，请参见 Dataphin数据源表开发方式。重要 目前仅支持 MySQL、Hologres、MaxCompute 数据源。数据源编码配置成功后不支持修改。数据源描述 对数据源的简单描述。不得超过128个字符。数据源配置 选择需要配置的数据源：如果业务数据...
数据质量监控
其中：现场开发类表：可选择显示总数据表、未完成的数据表、已暂停开发的数据表或质量较差的数据表。同步专网和产品部署类表：可选择显示总数据表或质量较差的数据表；同时显示产出异常（任务停止和运行失败）的数据表数，您可通过设置...
接入方式介绍
本文介绍了针对不同的开发进度和场景，建议使用的接入方式。三种接入方式 根据 iOS 开发工程的进展和使用场景，接入移动开发平台 mPaaS 的方式主要有以下三种：当前无工程，从头开始创建一个全新的工程：基于 mPaaS 框架接入。当前已有工程...
MaxCompute数据访问权限控制
如果需要跨项目操作开发表或生产表，子账号需要在 安全中心 发起申请，待审批通过后，便可在数据开发界面对表进行相关操作。数据访问权限管控流程 数据访问控制功能支持您进行 权限申请、权限审批、权限审计 的操作，还支持您查看 权限申请...
MaxCompute数据权限控制详情
DataWorks通过空间预设角色或空间自定义角色与开发环境引擎Role映射，来让被授予空间角色的RAM用户，拥有该空间角色映射的开发引擎Role所拥有的MaxCompute引擎权限，但默认无生产权限，本文为您介绍预设角色权限基本情况、MaxCompute权限...
同步节点
开发数据表 开发环境中源端输入的物理表，在下拉列表中选择。生产数据源 生产环境中使用源端输入的物理表所在资源。生产数据表 生产环境中源端输入的物理表，在下拉列表中选择。同步模式 当选择 全量，表示全量覆盖同步。当选择 增量，则...
增加或删除已运行任务的同步表
同步数据至Kafka解决方案为您提供了一键增加及删除同步表功能，方便您为已成功配置运行的同步任务快速添加新表或删除已有同步表。本文为您介绍如何增加或删除已运行任务的同步表。前提条件 已创建并运行同步数据至Kafka解决方案的任务，...
同步节点
开发数据表 开发环境中源端输入的物理表，在下拉列表中选择。生产数据源 生产环境中使用源端输入的物理表所在资源。生产数据表 生产环境中源端输入的物理表，在下拉列表中选择。同步模式 当选择 全量，表示全量覆盖同步。当选择 增量，则...
透视分析：按资源类型
表数量趋势：查看所选工作空间在指定时间段内的开发表、生产表或所有表的数量变化趋势。表存储分布：查看所选工作空间在指定日期内表的存储情况。表存储趋势：查看所选工作空间在指定时间段内的开发表、生产表或所有表的存储变化趋势。表...
Flink_SQL任务开发方式
Dataphin的Flink_SQL任务支持多种开发方式，包括原生DDL+DML开发、使用Dataphin元表进行开发、使用Dataphin数据源表进行开发、以及使用计算源物理表进行开发，且不同开发方式所创建的表支持任意混用，包括镜像表。不同开发方式的使用方法、...
新建同步节点并运行后上线
开发数据表 开发环境中源端输入的物理表，在下拉列表中选择。生产数据源 生产环境中使用源端输入的物理表所在资源。生产数据表 生产环境中源端输入的物理表，在下拉列表中选择。同步模式 当选择 全量，表示全量覆盖同步。当选择 增量，则...
新建同步节点并运行后上线
开发数据表 开发环境中源端输入的物理表，在下拉列表中选择。生产数据源 生产环境中使用源端输入的物理表所在资源。生产数据表 生产环境中源端输入的物理表，在下拉列表中选择。同步模式 当选择 全量，表示全量覆盖同步。当选择 增量，则...
创建并使用MaxCompute表
代码示例 开发环境（数据开发、开发环境运维中心）执行代码 生产环境（生产环境运维中心）执行代码 访问开发项目中的开发表：select col1 from projectname_dev.tablename;使用任务执行者个人云账号访问开发表。RAM用户（子账号）执行相关...
Flink_SQL任务开发方式
Dataphin的Flink_SQL任务支持多种开发方式，包括原生DDL+DML开发、基于Catalog开发、使用Dataphin元表进行开发、使用Dataphin数据源表进行开发、以及使用计算源物理表进行开发，且不同开发方式所创建的表支持任意混用，包括镜像表。...
步骤一：开发维度逻辑表
本文为您介绍如何基于本教程完成 产品维度逻辑表 和 客户维度逻辑表 开发。背景信息 完成产品维度逻辑表开发并提交后，还需完成客户维度逻辑表的开发并提交。本教程的产品维度逻辑表开发与客户维度逻辑表开发操作步骤相同，本文以开发 产品...
步骤一：开发维度逻辑表
本文为您介绍如何基于本教程完成 产品维度逻辑表 和 客户维度逻辑表 开发。背景信息 完成产品维度逻辑表开发并提交后，还需完成客户维度逻辑表的开发并提交。本教程的产品维度逻辑表开发与客户维度逻辑表开发操作步骤相同，本文以开发 产品...
数据地图概述
表权限管控 表操作权限申请 标准模式工作空间下，RAM用户默认无法通过SQL命令直接操作生产表，如果您需要操作生产表或跨账号查询生产表，需要进行权限申请，您可以在表详情页中的 申请权限 入口申请表的相关权限。当您在表详情页单击申请权...
手工表概述
手工表开发页面概述 手工表开发页面主要由手工表目录、手工表编辑器菜单、编辑区组成。您可以在手工表页面进行手工表开发及管理。区域 描述 ① 手工表目录 手工表目录中存在2个根目录。我的 与 分享给我 目录。我的：您创建的手工表将归类...
手工表概述
手工表开发页面概述 手工表开发页面主要由手工表目录、手工表编辑器菜单、编辑区组成。您可以在手工表页面进行手工表开发及管理。区域 描述 ① 手工表目录 手工表目录中存在2个根目录。我的 与 分享给我 目录。我的：您创建的手工表将归类...
创建并使用MaxCompute表
代码示例 开发环境（数据开发、开发环境运维中心）执行代码 生产环境（生产环境运维中心）执行代码 访问开发项目中的开发表：select col1 from projectname_dev.tablename;使用任务执行者个人云账号访问开发表。RAM用户（子账号）执行相关...
镜像表和字段详情
② 图例区 表级血缘支持的数据表，包括 物理表、维度逻辑表、事实逻辑表、汇总逻辑表、标签逻辑表、物理视图、逻辑视图、元表、镜像表、数据源表。③ 血缘图展示区 为您展示完整的血缘链路图，可手动展开多级上游或下游，支持根据数据表...
镜像表和字段详情
② 图例区 表级血缘支持的数据表，包括 物理表、维度逻辑表、事实逻辑表、汇总逻辑表、标签逻辑表、物理视图、逻辑视图、元表、镜像表、数据源表。③ 血缘图展示区 为您展示完整的血缘链路图，可手动展开多级上游或下游，支持根据数据表...
元表和字段资产详情
② 图例区 表级血缘支持的数据表，包括 物理表、维度逻辑表、事实逻辑表、汇总逻辑表、标签逻辑表、物理视图、逻辑视图、元表、镜像表、数据源表。③ 血缘图展示区 为您展示完整的血缘链路图，可手动展开多级上游或下游，支持根据数据表...
元表和字段资产详情
② 图例区 表级血缘支持的数据表，包括 物理表、维度逻辑表、事实逻辑表、汇总逻辑表、标签逻辑表、物理视图、逻辑视图、元表、镜像表、数据源表。③ 血缘图展示区 为您展示完整的血缘链路图，可手动展开多级上游或下游，支持根据数据表...
进入数据质量概览（新版）
数据质量概览为您展示当前工作空间下，需要重点关注的数据质量总览指标、实例运行后触发的质量规则校验状态的趋势及分布情况、TOP质量问题表及质量问题责任人、质量规则覆盖保障情况等，帮助质量负责人快速了解工作空间数据质量整体情况，...
数据接入任务
数据接入任务模块为您提供设备数据接入和数据开发跟踪管理功能。数据接入任务的界面如下图所示，界面上方为您介绍“为什么会有数据接入任务”，以及“如何完成数据接入任务”。该模块任务主要来源于：接口导入：您在“数据服务”模块开通的...
周期性调度作业概述
代码示例 开发环境（数据开发、开发环境运维中心）执行代码 生产环境（生产环境运维中心）执行代码 访问开发项目中的开发表：select col1 from projectname_dev.tablename;使用任务执行者个人云账号访问开发表。RAM用户（子账号）执行相关...
使用PyODPS节点进行结巴中文分词
在 将本地数据导入开发表 对话框，输入需要导入数据的测试表jieba_test并选中，单击 下一步。上传您下载至本地的jieba_test.csv文件，配置上传信息并预览数据，单击 下一步。选中 按名称匹配，单击 导入数据。创建PyODPS 3节点。右键单击...
新建离线物理表
离线物理表可帮助您统一配置与管理计算任务开发过程中用到的离线物理表，提升开发效率。本文为您介绍如何新建离线物理表。使用限制 若您未购买 数据标准 模块，不支持设置表中的 数据标准 字段。若您未购买 资产安全 模块，不支持设置表中...
新建离线物理表
离线物理表可帮助您统一配置与管理计算任务开发过程中用到的离线物理表，提升开发效率。本文为您介绍如何新建离线物理表。使用限制 若您未购买 数据标准 模块，不支持设置表中的 数据标准 字段。若您未购买 资产安全 模块，不支持设置表中...
搭建茶园监控应用概述
通过使用物联网应用开发（IoT Studio）平台的Web可视化开发和业务逻辑开发工具，开发一个茶园的环境监控大屏。应用用户可在监控大屏中，查看在指定时间内，设备上报的温度值折线图。设计思路 先在业务逻辑开发工作台，创建三个服务，分别是...
基于原生DDL语句创建元表
开发过程中所用到的输入表、输出表、维表可以通过创建元表方式来进行创建和管理，以支持您通过引用元表的方式来创建其他数据表。有效解决原生DDL开发方式的研发路径复杂，密码明文记录，安全性差，研发效率低等问题。更多信息，请参见 ...
新建元表
元表是通过数据管理的跨存储类型表，开发过程中所用到的输入表、输出表、维表可以通过创建元表进行创建和管理。本文为您介绍如何新建元表。功能优势 元表具有以下优势：安全可靠：通过元表可以有效避免直接编写原生Flink DDL语句导致的敏感...
新建元表
元表是通过数据管理的跨存储类型表，开发过程中所用到的输入表、输出表、维表可以通过创建元表进行创建和管理。本文为您介绍如何新建元表。功能优势 元表具有以下优势：安全可靠：通过元表可以有效避免直接编写原生Flink DDL语句导致的敏感...
数据服务
如下图所示，表详情显示内容包括表名、表描述以及数据表的存储数据库、开发责任人和模型负责人等基本信息；以及数据表的“字段信息”、“数据概览”、“血缘信息”、“数据质量”和“开发逻辑”等详细信息。如果数据表储存在多个数据库，可...
创建Redis数据源
更多信息，请参见 Dataphin数据源表开发方式。重要 目前仅支持 MySQL、Hologres、MaxCompute 数据源。数据源编码配置成功后不支持修改。数据源描述 对数据源的简单描述。不超过128字符。数据源配置 选择需要配置的数据源：如果业务数据源...
创建Lindorm数据源
更多信息，请参见 Dataphin数据源表开发方式。重要 目前仅支持 MySQL、Hologres、MaxCompute 数据源。数据源编码配置成功后不支持修改。数据源描述 对数据源的简单描述，128个字符以内。数据源配置 选择需要配置的数据源：如果业务数据源...
创建Kudu数据源
更多信息，请参见 Dataphin数据源表开发方式。重要 目前仅支持 MySQL、Hologres、MaxCompute 数据源。数据源编码配置成功后不支持修改。版本 根据实际情况，选择Kudu对应版本。版本支持：CHD5:1.16 CHD6:1.16 CDP7.1.3:1.16。数据源描述 对...
创建OpenGauss数据源
更多信息，请参见 Dataphin数据源表开发方式。重要 目前仅支持 MySQL、Hologres、MaxCompute 数据源。数据源编码配置成功后不支持修改。数据源描述 对OpenGauss数据源的描述。不超过128字符。数据源配置 基于业务数据源是否区分生产数据源...
- 产品推荐
- 这些文档可能帮助您