文档更新动态（2024年）
更新说明 新建普通维度逻辑表 新建层级维度逻辑表 创建原子指标 创建业务限定 添加派生指标和衍生指标 数据开发-编码研发 实时任务支持引用全局变量以解决DDL语句中明文密码的问题。实时任务研发优化：Flink计算源支持配置多级资源队列。...
HiveMetastore
在左侧导航栏的 Serverless Presto>SQL执行，单击 登录DMS执行SQL，执行以下SQL命令创建数据库和创建表。说明 您也可以通过MySQL客户端或者程序代码等方式连接DLA，然后执行SQL命令创建库。创建数据库。CREATE DATABASE `dlaDb` WITH ...
配置TDH Inceptor输出组件
分区 如果选择了分区表，则需要选择数据表的分区。默认的分区为ds=${bizdate}。准备语句 数据导入前对数据库执行的SQL脚本，128个字符以内。结束语句 数据导入后对数据库执行的SQL脚本，128个字符以内。输入字段 展示输入字段。输出字段 ...
结构设计
数据管理DMS提供的结构设计功能，可以实现对目标库、表进行符合研发规范的表结构设计。您可按需自定义不同业务线的研发流程，保障多套环境（例如开发环境、测试环境、生产环境）之间结构的一致性。本文以物理库为例，介绍进行结构设计的...
使用SQL File查询MaxCompute表
DSW提供了SQL File插件功能，支持您通过SQL语句的方式，对具有查询权限的MaxCompute数据源进行快速的数据查询。费用说明 使用SQL语句进行数据查询时，DSW暂时不收取额外费用，仅收取MaxCompute的计算和存储费用。前提条件 在开始执行操作前...
新建数据探查任务
权限 说明 超级管理员和运营管理员支持新建及管理所有数据表的数据探查；当前数据表负责人仅可新建及管理自己所负责表的数据探查。项目管理员支持新建及管理所负责项目下物理表的数据探查。板块管理员支持新建及管理所负责板块下逻辑表的...
新建数据探查任务
权限 说明 超级管理员和运营管理员支持新建及管理所有数据表的数据探查；当前数据表负责人仅可新建及管理自己所负责表的数据探查。项目管理员支持新建及管理所负责项目下物理表的数据探查。板块管理员支持新建及管理所负责板块下逻辑表的...
新建元表
步骤四：配置元表属性 完成元表创建后，单击右侧 属性 按钮，可以配置元表 基本信息、元表参数、引用信息 和修改 调试测试 数据表。配置项 参数 描述 基本信息 元表名称 默认为所创建的元表名称，不支持修改。数据源 默认为所创建的数据源...
配置Hive输出组件
您可以根据业务情况完成创建目标表的SQL脚本的修改，并单击 新建。目标表新建成功后，Dataphin自动将新建的目标表作为输出数据的目标表。一键生成目标表用于为开发环境、生产环境创建数据同步的目标表。Dataphin默认为您选中 生产环境建表...
新建元表
步骤四：配置元表属性 完成元表创建后，单击右侧 属性 按钮，可以配置元表 基本信息、元表参数、引用信息 和修改 调试测试 数据表。配置项 参数 描述 基本信息 元表名称 默认为所创建的元表名称，不支持修改。数据源 默认为所创建的数据源...
配置Greenplum输出组件
如下图所示：您可以根据业务情况修改创建目标表的SQL脚本后，单击 新建。目标表新建成功后，Dataphin自动将新建的目标表作为输出数据的目标表。一键生成目标表用于为开发环境、生产环境创建数据同步的目标表。Dataphin默认为您选中生产环境...
配置Greenplum输出组件
如下图所示：您可以根据业务情况修改创建目标表的SQL脚本后，单击 新建。目标表新建成功后，Dataphin自动将新建的目标表作为输出数据的目标表。一键生成目标表用于为开发环境、生产环境创建数据同步的目标表。Dataphin默认为您选中生产环境...
创建EMR Spark SQL节点
您可以通过创建EMR（E-MapReduce）Spark SQL节点，实现分布式SQL查询引擎处理结构化数据，提高作业的执行效率。前提条件 数据开发（DataStudio）中已创建业务流程。数据开发（DataStudio）基于业务流程对不同开发引擎进行具体开发操作，...
配置AnalyticDB for MySQL 3.0输出组件
如下图所示：您可以根据业务情况修改创建目标表的SQL脚本后，单击 新建。目标表新建成功后，Dataphin自动将新建的目标表作为输出数据的目标表。一键生成目标表用于为开发环境、生产环境创建数据同步的目标表。Dataphin默认为您选中生产环境...
逻辑表结构设计
数据管理DMS提供的结构设计功能，可以实现对目标库表进行符合研发规范的表结构设计。您可按需自定义不同业务线的研发流程，保障多套环境（例如开发环境、测试环境、生产环境）之间结构的一致性。本文介绍逻辑表结构设计的方法。背景信息 分...
结构设计
数据管理DMS提供的结构设计功能，可以实现对目标库、表进行符合研发规范的表结构设计。您可按需自定义不同业务线的研发流程，保障多套环境（例如开发环境、测试环境、生产环境）之间结构的一致性。本文以物理库为例，介绍进行结构设计的...
创建业务流程
建表并上传数据 中创建的 bank_data 表为非周期性调度产出的表，您可以在select非周期性调度产出表的节点代码编辑页，右键相应的表名，进行删除输入的操作。您也可以在代码的最上方添加一条规则的注释，操作完成后自动解析将不会解析该依赖...
配置AnalyticDB for MySQL 3.0输出组件
如下图所示：您可以根据业务情况修改创建目标表的SQL脚本后，单击 新建。目标表新建成功后，Dataphin自动将新建的目标表作为输出数据的目标表。一键生成目标表用于为开发环境、生产环境创建数据同步的目标表。Dataphin默认为您选中生产环境...
创建EMR Hive节点
您可以创建EMR（E-MapReduce）HIVE节点，通过类SQL语句协助读写、管理存储在分布式存储系统上的大数据集的数据仓库，完成海量日志数据的分析和开发工作。前提条件 数据开发（DataStudio）中已创建业务流程。数据开发（DataStudio）基于业务...
快速体验
DataWorks的数据分析功能为企业提供了全面的数据分析和服务共享能力，可便捷地连接多种数据源、支持SQL查询，并提供电子表格等多样化的数据分析工具，以满足企业日常的数据提取和分析需求。本文将通过MaxCompute引擎在SQL查询中对公共数据...
新建Flink SQL类型的公共节点
Flink SQL节点是流式节点，运行于Flink云计算资源之上，支持对RDS MySQL、Table Store、Hive、Kafka、Hbase、Phoenix、AnalyticDB MySQL和DataHub等类型的数据进行处理。本文介绍如何新建Flink SQL类型的公共节点。背景信息 Flink SQL是...
自定义RDBMS数据库及同步数据
insert into xin_test_scr2 values('1001','huayu1'),('1002','huayuyu2'),创建目标数据表的代码示例如下。create table xin_test_det_1(id string,name string);步骤二：创建自定义数据源 登录 Dataphin控制台。在Dataphin控制台页面，...
自定义RDBMS数据库及同步数据
insert into xin_test_scr2 values('1001','huayu1'),('1002','huayuyu2'),创建目标数据表的代码示例如下。create table xin_test_det_1(id string,name string);步骤二：创建自定义数据源 登录 Dataphin控制台。在Dataphin控制台页面，...
可选：运维SQL分析任务
如果需要调整SQL分析任务输出的存储表的结构，且保留原已生成的数据存储表的数据，请重新创建并配置SQL分析任务。修改已发布的SQL分析任务前，需先撤销该任务。删除：可删除SQL分析任务。重要 仅可删除状态为 未上线 和 已下线 的SQL分析...
新建Flink Vvr SQL类型的公共节点
Flink Vvr SQL节点是流式节点，运行于Flink云计算资源之上，支持对RDS MySQL、Table Store、Hive、Kafka、Hbase、Phoenix、AnalyticDB MySQL和DataHub等类型的数据进行处理。本文介绍如何新建Flink Vvr SQL类型的公共节点。背景信息 Flink ...
新建Flink Vvr SQL类型的公共节点
Flink Vvr SQL节点是流式节点，运行于Flink云计算资源之上，支持对RDS MySQL、Table Store、Hive、Kafka、Hbase、Phoenix、AnalyticDB MySQL和DataHub等类型的数据进行处理。本文介绍如何新建Flink Vvr SQL类型的公共节点。背景信息 Flink ...
占位符
操作步骤 在数据集编辑页面，单击画布中的 使用SQL代码创建第一张表 或左侧面板中的 SQL代码创建表。输入SQL代码后 SQL示例如下：SELECT report_date,order_level,shipping_type,price,order_number,area,case when profit_amt<${profit_...
审计日志
数据操作-任务执行 CreateTable 通过SQL创建数据表。AlterTable 通过SQL修改表。SelectTable 通过SQL查询表。DropTable 通过SQL删除表。AdhocDownload 导出查询的结果。INSERT_INTO_TABLE 通过SQL插入表数据。DropPartition 删除分区。...
账号权限详情
说明 在PostgreSQL中，创建发布（publication）是通过逻辑复制功能来实现的，允许将数据库的更改操作传输到其他数据库实例。SQL示例 创建发布。仅为示例，详细使用方法，请参见 CREATE PUBLICATION。CREATE PUBLICATION test_publication ...
新建普通维度逻辑表
校验流程完成后，即可完成普通维度逻辑表的创建与配置。说明 系统在任务提交时，解析开发环境的表和字段血缘关系；发布时，解析生产环境的表和字段血缘关系。单个任务提交或发布时支持解析不超过 10万条 血缘关系，超过则不予记录，在资产...
新建普通维度逻辑表
校验流程完成后，即可完成普通维度逻辑表的创建与配置。说明 系统在任务提交时，解析开发环境的表和字段血缘关系；发布时，解析生产环境的表和字段血缘关系。单个任务提交或发布时支持解析不超过 10万条 血缘关系，超过则不予记录，在资产...
DataWorks V2.0
可以进行生命周期设置、表管理（包括修改表的类目、描述、字段、分区等）、表隐藏/取消隐藏和表删除等操作。临时查询 整体功能 无 用于在本地测试代码的实际情况与期望值是否相符，无提交、发布、设置调度参数功能。组件管理（新增）整体...
配置同步任务
如果 模式 选择了 多表，则执行以下操作添加数据表：在输入框中，输入表的表达式，筛选具有相同结构的表。系统支持枚举形式、类正则形式及两者混合形式，例如：table_[001-100];table_102。单击 图标。在 确认匹配详情 对话框中，选择匹配...
表
说明 DataWorks的数据开发模块可以对MaxCompute表进行新建、收藏、修改数据生命周期管理、修改表结构和数据表/资源/函数权限管理审批等操作。MaxCompute的表格有两种类型：内部表和外部表（MaxCompute 2.0版本开始支持外部表）。对于内部表...
Python
cities 表中的所有数据 sql='select*from cities' cur.execute(sql)ans=cur.fetchall()print(ans)#删除表 cities sql='drop table cities' cur.execute(sql)finally:cur.close()conn.close()修改代码中的数据库连接参数。参考如下字段，...
Delta Lake 快速入门
如果源文件是Parquet格式，则可以使用SQL Convert to Delta语句就地转换文件，以创建非托管表 SQL%sql CONVERT TO DELTA parquet.`/mnt/delta/events` 分区数据 要加快包含涉及分区列的谓词查询，可以对数据进行分区。Python%pyspark ...
SQL代码编码原则和规范
SQL编码规范 SQL代码的编码规范如下：代码头部 代码头部添加主题、功能描述、作者和日期等信息，并预留修改日志及标题栏，以便后续添加修改记录。注意每行不超过80个字符，模板如下。MaxCompute(ODPS)SQL-*-*所属主题:交易-*功能描述:交易...
数据库灰度
假设基线环境的表的名称为mse_demo_table，那么Gray环境的流量可以映射到mse_demo_table_gray的表中，从而实现灰度数据和基线环境数据表隔离的效果。步骤一：数据库建表 登录 数据管理DMS 5.0 控制台创建基线环境表。数据库建表语句如下：...
使用SQL访问HBase表
背景信息 Lindorm宽表引擎支持直接访问通过Lindorm Shell或HBase Java API创建的数据表。但由于HBase是Schema-free的，因此HBase中的列会被当做动态列处理，类型为VARBINARY，即Byte。关于动态列的详细信息，请参见 动态列。为了能够在基于...
配置同步任务
如果 模式 选择了 多表，则执行以下操作添加数据表：在输入框中，输入表的表达式，筛选具有相同结构的表。系统支持枚举形式、类正则形式及两者混合形式，例如：table_[001-100];table_102。单击 图标。在 确认匹配详情 对话框中，选择匹配...
- 产品推荐
- 这些文档可能帮助您