Dataphin支持的数据源
背景信息 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型说明如下：如果您需要在Dataphin中连接某数据源，则需要先在数据源管理中创建该数据源。...
共享集群（OSS数据湖加速）
方式二：IMPORT FOREIGN SCHEMA schema_name[{ limit to|except }(table_name[,.])]from server server_name into local_schema[options(option 'value'[,.])]参数说明 参数 说明 schema_name DLF中创建的元数据库名。table_name DLF中创建...
HDFS常见命令介绍
命令 功能 mkdir 在HDFS文件系统中创建目录。touchz 在HDFS文件系统中新建一个空文件。ls 在文件或者目录创建完之后，您可以查看指定路径下的文件或目录信息。在查看文件或目录信息的时候需要给出绝对路径。put 上传本地文件到HDFS的指定...
访问Kafka数据源
已在Kafka实例中创建Topic和Group。具体操作，请参见 创建资源。已开通OSS服务，并创建与 AnalyticDB MySQL 湖仓版（3.0）集群位于相同地域的存储空间。具体操作，请参见 开通OSS服务 和 创建存储空间。准备工作 在 消息队列Kafka版 控制台...
Pig开发手册
创建作业 在数据开发中创建Pig作业，详情请参见 Pig作业配置。作业内容如下。f ossref:/emr/jars/script1-hadoop.pig 运行作业 单击 运行 以运行作业。您可以关联一个已有的集群，也可以自动按需创建一个，然后关联上创建的作业。
新建实时计算模板
在该场景下，您可在Dataphin中创建实时计算模板，并在创建实时任务时引用实时计算模板实例化任务。在后续变更维护时，您可通过编辑维护实时计算模板的方式，统一维护多个实时任务，大大的节省了开发维护成本和降低了变更风险。操作步骤 请...
新建实时计算模板
在该场景下，您可在Dataphin中创建实时计算模板，并在创建实时任务时引用实时计算模板实例化任务。在后续变更维护时，您可通过编辑维护实时计算模板的方式，统一维护多个实时任务，大大的节省了开发维护成本和降低了变更风险。操作步骤 请...
背景信息以及准备工作
在DLA中创建日志文件外表时，最繁琐的一步是写正则表达式，正则表达式说明如下：正则表达式中的每个字段用()作为边界，通常日志中的每个字段以空格分隔。建表语句中定义的列的个数与正则表达式中的字段数完全匹配。通常，数字可以用([0-9]*...
实现任务调度
如果您要部署到其它地域（如杭州）中，还需要在创建调度任务并调度的步骤中完成以下操作：登录 EDAS控制台，在 测试 地域中创建任务分组并记录分组ID。具体操作，请参见 应用管理。登录 安全信息管理 页面，获取AccessKey ID和AccessKey ...
创建PolarDB-X数据源
前提条件 若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至数据库白名单（或安全组）中，使数据源与Dataphin网络互通。具体操作，请参见 数据源白名单配置。权限说明 Dataphin仅支持 超级管理员、...
使用JDBC Connector同步MySQL数据
步骤三：测试Connector Source Connector 在DMS数据管理服务平台，向 步骤一：创建数据表 中创建的数据表插入一条数据。例如，插入一条 id 为12，number 为20的数据，命令如下。INSERT INTO sql_table(id,number)VALUES(12,20);登录 云消息...
使用JDBC Connector同步MySQL数据
步骤三：测试Connector Source Connector 在DMS数据管理服务平台，向 步骤一：创建数据表 中创建的数据表插入一条数据。例如，插入一条 id 为12，number 为20的数据，命令如下。INSERT INTO sql_table(id,number)VALUES(12,20);登录 云消息...
配置集成管道质量监控
质量管理员、数据源/表的质量负责人和超级管理员支持在集成任务中创建质量规则并发布。新建离线管道质量监控 在Dataphin首页，单击顶部菜单栏的 研发。按照下图指引进入 新建质量规则 对话框，配置质量规则，监测数据表的质量（配置质量...
Dataphin支持的数据源
背景信息 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型说明如下：如果您需要在Dataphin中连接某数据源，则需要先在数据源管理中创建该数据源。...
配置集成管道质量监控
质量管理员、数据源/表的质量负责人和超级管理员支持在集成任务中创建质量规则并发布。新建离线管道质量监控 在Dataphin首页，单击顶部菜单栏的 研发。按照下图指引进入 新建质量规则 对话框，配置质量规则，监测数据表的质量（配置质量...
新建AnalyticDB for MySQL 3.0数据源
前提条件 若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至数据库白名单（或安全组）中，使数据源与Dataphin网络互通。具体操作，请参见 附录：数据源白名单配置。权限说明 Dataphin仅支持 超级...
使用内置公开数据集快速体验实时计算Flink版
在弹出的对话框中，选择调试集群 为flink-sql-test-session（第一步中创建的Session集群），确认 调试数据状态 为线上数据后，单击 确定。查看可视化结果。如果需要继续下一步，请单击结果区域左侧红色停止 按钮。因为这是一个流式作业，...
如何在MSE上为Dubbo应用构建服务注册中心
在com.alibaba.mse中创建类 Provider，并按下面的代码在Provider的main函数中加载Spring Context，将配置好的Dubbo服务暴露。package com.alibaba.mse;import org.springframework.context.support.ClassPathXmlApplicationContext;public ...
Spark批式读写Iceberg
id","<yourDLFRegionId>")val spark=SparkSession.builder().config(sparkConf).appName("IcebergReadWriteTest").getOrCreate()/从DataFrame中创建或替换Iceberg表 val firstDF=spark.createDataFrame(Seq((1,"a"),(2,"b"),(3,"c"))).toDF...
创建ClickHouse数据源
前提条件 若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至数据库白名单（或安全组）中，使数据源与Dataphin网络互通。具体操作，请参见 数据源白名单配置。权限说明 Dataphin仅支持 超级管理员、...
通过缓存优化性能
Delta缓存通过使用快速中间数据格式在节点的本地存储中创建远程文件的副本来加速数据读取。每当需要从远程位置获取文件时，数据都会自动缓存。然后在本地的连续读取上述数据，从而显著提高读取速度。说明 详细内容可参考Databricks官网文章...
Confluent+实时计算Flink版最佳实践
流数据服务Confluent是阿里云基于Apache Kafka提供的企业级全托管流数据服务，而实时计算Flink版是阿里云基于Apache Flink构建的企业级实时大数据计算商业产品，两者的相互结合可以帮助流式数据处理过程变得更加简洁高效。准备工作 创建...
创建PostgreSQL数据源
前提条件 若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至数据库白名单（或安全组）中，使数据源与Dataphin网络互通。具体操作，请参见 数据源白名单配置。权限说明 Dataphin仅支持 超级管理员、...
Hive访问云HBase数据
在Hive中创建HBase外部关联表。create external table hbase_table(key int,col1 string,col2 string)STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH SERDEPROPERTIES("hbase.columns.mapping"="f:col1,f:col2")...
创建AnalyticDB for PostgreSQL数据源
前提条件 若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至数据库白名单（或安全组）中，使数据源与Dataphin网络互通。具体操作，请参见 数据源白名单配置。权限说明 Dataphin仅支持 超级管理员、...
通过ES-Hadoop将HDFS中的数据写入Elasticsearch
建议在Kibana控制台中创建一个符合预期的Role角色用户进行访问，详情请参见 通过Elasticsearch X-Pack角色管理实现用户权限管控。es.net.http.auth.pass / Elasticsearch实例的访问密码。es.nodes.wan.only false 开启Elasticsearch集群在...
创建Microsoft SQL Server数据源
前提条件 若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至数据库白名单（或安全组）中，使数据源与Dataphin网络互通。具体操作，请参见 数据源白名单配置。使用限制 Dataphin仅支持 超级管理员、...
创建CDH MR节点
本文为您介绍如何在DataWorks中创建并使用CDH MR节点。前提条件 数据开发（DataStudio）中已创建业务流程。数据开发（DataStudio）基于业务流程对不同开发引擎进行具体开发操作，所以您创建节点前需要先新建业务流程，操作详情请参见 创建...
使用MongoDB Connector连接MongoDB数据库
步骤三：测试Connector Source Connector 在DMS数据管理服务平台，向 步骤一：创建数据表 中创建的Connection插入一条数据。例如，插入一条 Key 为testKey，Value 为testValue的数据，命令如下。db.testCollection.insert({"testKey":...
自定义函数（UDF）
代码中的 myfunc 是UDF函数的名称，org.example.MyUDF 是 开发UDF 中创建的类，hdfs:/user/hive/warehouse/hiveudf-1.0-SNAPSHOT.jar 为上传JAR包到HDFS的路径。当出现以下信息时，表示创建成功。Added[/private/var/folders/2s/wzzsgpn13...
使用MongoDB Connector连接MongoDB数据库
步骤三：测试Connector Source Connector 在DMS数据管理服务平台，向 步骤一：创建数据表 中创建的Connection插入一条数据。例如，插入一条 Key 为testKey，Value 为testValue的数据，命令如下。db.testCollection.insert({"testKey":...
创建Hologres数据源
若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至数据库白名单（或安全组）中，使数据源与Dataphin网络互通。具体操作，请参见 数据源白名单配置。操作步骤 在Dataphin首页，单击顶部菜单栏 管理...
CLB压力测试的方法
curl http://localhost 或 curl http://127.0.0.1:80 在PTS中创建测试场景，开始压力测试。具体操作请参见 如何在一分钟内发起压测？可能导致压测性能低的原因 若发现压测性能低，可能是以下原因造成的：客户端端口不足 在进行压力测试时，...
数据集成概述
支持将Dataphin中创建的逻辑表快速地同步到目标库。支持用户自定义系统不支持的组件，以满足不同业务场景数据同步的需求。RDBMS数据库组件通过JDBC链接，非RDBMS数据库组件需要自行上传JAR包。数据集成支持多种类型组件，通过简单的拖拽、...
InsertApplication-创建 ECS 集群的应用
调用InsertApplication接口在ECS集群中创建应用。接口说明 说明 如需要创建 K8s 集群应用，则需要使用 EDAS 提供的 InsertK8sApplication 接口。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，Open...
创建PolarDB数据源
前提条件 若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至数据库白名单（或安全组）中，使数据源与Dataphin网络互通。具体操作，请参见 数据源白名单配置。权限说明 Dataphin仅支持 超级管理员、...
领域建模
步骤二：创建应用服务 根据全渠道交易业务场景，线下梳理调用逻辑（交易场景相关的内容，例如：创建订单、锁定库存、查询商品、核销优惠券等），在BizWorks中创建应用服务信息（基础能力）。以交易上下文为例，创建以下应用服务和方法：...
通过流引擎实现交易数据实时统计
通过Lindorm-cli连接Lindorm宽表引擎，并在Lindorm宽表中创建一张表，具体操作请参见 通过Lindorm-cli连接并使用宽表引擎。说明 创建的Lindorm宽表用于存储交易数据的统计结果。CREATE TABLE IF NOT EXISTS order_stat(biz VARCHAR,...
Zookeeper
在左侧导航栏选择 API管理-分组管理，单击界面右上角的 创建分组 按钮，在弹窗页面填写分组信息，实例选择步骤3中创建的VPC融合实例，分组名称和BasePath可自定义。说明 分组创建完成后，在分组管理中单击分组名称即可进入分组详情页，在...
新建行为关系
参数 描述 行为主体 主体 选择标签架构中创建的实体。例如，会员。主体ID 选择主体所绑定的主体ID。例如，会员ID。字段名称 选择来源表中描述行为主体的字段名称。例如来源表中的member_id字段。字段类型 为您展示选择的字段名称的字段类型...
- 产品推荐
- 这些文档可能帮助您