附录：数据探查典型场景说明
E-MapReduce3.x、E-MapReduce5.x、CDH5.x、CDH6.x、FusionInsight 8.x、Cloudera Data Platform 7.x、亚信DP5.3 运行速度慢 设置的Job并发执行数量不足。set hive.exec.parallel=true;set hive.exec.parallel.thread.number=16;
附录：数据探查典型场景说明
E-MapReduce3.x、E-MapReduce5.x、CDH5.x、CDH6.x、FusionInsight 8.x、Cloudera Data Platform 7.x、亚信DP5.3 运行速度慢 设置的Job并发执行数量不足。set hive.exec.parallel=true;set hive.exec.parallel.thread.number=16;
步骤六：可视化分析
步骤三：创建数据大屏 按照下图操作指引，进入 数据大屏 页面。按照下图操作指引，添加 基础排行榜 图表至画布中。选择已添加的 基础排行榜 图表，配置图表参数。参数 描述 ① 数据集 选择 flink_dataphin。② 字段 类别/维度：选择 prod_...
步骤六：可视化分析
步骤三：创建数据大屏 按照下图操作指引，进入 数据大屏 页面。按照下图操作指引，添加 基础排行榜 图表至画布中。选择已添加的 基础排行榜 图表，配置图表参数。参数 描述 ① 数据集 选择 flink_dataphin。② 字段 类别/维度：选择 prod_...
运行配置
支持对以下3类任务设置运行时长阈值：任务类型 说明 一次性运行 包括即席查询、计算任务试运行、逻辑表冒烟测试、集成任务试运行等任务。周期任务 包括所有的周期调度任务。手动任务 包括手动实例（计算任务、集成、同步）、萃取模式补数据...
运行配置
支持对以下3类任务设置运行时长阈值：任务类型 说明 一次性运行 包括即席查询、计算任务试运行、逻辑表冒烟测试、集成任务试运行等任务。周期任务 包括所有的周期调度任务。手动任务 包括手动实例（计算任务、集成、同步）、萃取模式补数据...
步骤五：启动实例并插入数据
SET sku_id=CASE FLOOR(RAND()*3)WHEN 0 THEN '绿茶' WHEN 1 THEN '红茶' WHEN 2 THEN '花茶' ELSE '数据生成错误' END;RETURN sku_id;END;每3秒执行一次生成数据的写入 DELIMITER$CREATE PROCEDURE executeStatement3000Times()BEGIN ...
步骤五：启动实例并插入数据
SET sku_id=CASE FLOOR(RAND()*3)WHEN 0 THEN '绿茶' WHEN 1 THEN '红茶' WHEN 2 THEN '花茶' ELSE '数据生成错误' END;RETURN sku_id;END;每3秒执行一次生成数据的写入 DELIMITER$CREATE PROCEDURE executeStatement3000Times()BEGIN ...
任务运行资源说明
否 Spark（JAR/SQL）CPU：0.3核 内存：4GB 是 MapReduce CPU：0.2核 内存：512MB 是 任务资源配置说明 自定义资源配置CPU可配置区间 0.001CPU～4.0CPU，内存可配置区间 32MB～16GB。若您需自定义任务资源大小，您可以在任务的代码头部添加...
任务运行资源说明
否 Spark（JAR/SQL）CPU：0.3核 内存：4GB 是 MapReduce CPU：0.2核 内存：512MB 是 任务资源配置说明 自定义资源配置CPU可配置区间 0.001CPU～4.0CPU，内存可配置区间 32MB～16GB。若您需自定义任务资源大小，您可以在任务的代码头部添加...
数据集成支持的数据源
不支持 ArgoDB 支持 支持 Paimon 不支持 不支持 文件数据源 FTP 支持 支持 OSS 支持 支持 Amazon S3 支持 支持 消息队列数据源 Log Service 支持 不支持 Kafka 支持 支持 RocketMQ 不支持 不支持 DataHub 支持 支持 关系型数据源 PolarDB ...
SQL使用限制
IN的参数个数 1024 数量限制 IN的最大参数限制，例如 in(1,2,3….,1024)。如果 in(…)的参数过多，会影响编译性能。1024为建议值，不是限制值。jobconf.json 1 MB 长度限制 jobconf.json 的大小为1 MB。当表包含的分区数量较多时，大小可能...
Dataphin支持的实时数据源
关系型数据库 PolarDB 支持 支持-PolarDB-X（原DRDS，同RDS）-支持 支持 AnalyticDB for MySQL 3.0-支持 支持 AnalyticDB for PostgreSQL 6.0+-支持 支持 Postgres 支持（支持postgres-cdc）-MySQL 支持（支持mysql-cdc）支持 支持 Oracle-...
配置HBase输出组件
[{"index":0,"type":"string"},{"index":2,"type":"string"},{"index":1,"string","value":"_"}]表示由输出字段中的第1个字段和第3个字段，使用下划线（_）组成Rowkey。输入字段 根据上游的输入，为您展示输入字段。输出字段 为您展示输出...
新建Amazon S3数据源
通过创建Amazon S3数据源能够实现Dataphin读取Amazon S3的业务数据或向Amazon S3写入数据。本文为您介绍如何创建Amazon S3数据源。背景信息 Amazon S3（Simple Storage Service）是亚马逊公司提供的一种云存储服务。它允许个人、组织和企业...
API管理
例如，API流量限制 为每秒查询率是1000，App1的流量限制为每秒查询率是500，App2的流量限制为每秒查询率是500，App3的流量限制为每秒查询率是500，各App流量限制的总和大于API的流量限制，但流量限制的上限为API流量限制。当 APP流量限制 ...
SQL使用限制
IN的参数个数 1024 数量限制 IN的最大参数限制，例如 in(1,2,3….,1024)。如果 in(…)的参数过多，会影响编译性能。1024为建议值，不是限制值。jobconf.json 1 MB 长度限制 jobconf.json 的大小为1 MB。当表包含的分区数量较多时，大小可能...
新建Amazon S3数据源
通过创建Amazon S3数据源能够实现Dataphin读取Amazon S3的业务数据或向Amazon S3写入数据。本文为您介绍如何创建Amazon S3数据源。背景信息 Amazon S3（Simple Storage Service）是亚马逊公司提供的一种云存储服务。它允许个人、组织和企业...
查看并处理任务
说明 数据表权限审批支持查看字段的敏感程度，数据分级 等级从低到高为L1、L2、L3、L4（公开到绝密）及自定义的数据分级。数据下载审批通过后，可点击 下载文件 按钮，下载数据。发布审批支持查看不同对象类型的详情信息，鼠标悬停对象的...
创建Redis数据源
通过创建Redis数据源能够实现Dataphin向Redis写入业务数据。...若您使用阿里云Redis服务，您可参见 云数据库 Redis-步骤3：连接Redis实例 获取。port 填写Redis实例的端口。password 访问Redis实例的密码。单击 确定，完成Redis数据源的创建。
查看并处理任务
说明 数据表权限审批支持查看字段的敏感程度，数据分级 等级从低到高为L1、L2、L3、L4（公开到绝密）及自定义的数据分级。数据下载审批通过后，可点击 下载文件 按钮，下载数据。发布审批支持查看不同对象类型的详情信息，鼠标悬停对象的...
计费说明-半托管
智能研发版定价 数据处理单元规格 定价（CNY/年）500 298,000 1000 397,800 1500 497,600 2000 597,400 2500 697,200 3000 797,000 数据处理单元统计规则：数据处理单元总量=（数据同步任务数+数据集成任务数）/3+计算任务数（离线和实时）...
创建GBase 8a数据源
Dataphin V3.11版本之前的创建数据源，socketTimeout默认为-1，表示无超时限制。connectTimeout 数据库的connectTimeout时长（单位ms），默认900000毫秒（15分钟）。说明 若您在JDBC URL中带有connectTimeout配置，则connectTimeout为JDBC ...
调用API
步骤三：下载API文档 支持下载API文档分享给其他开发人员，提高使用灵活性。在 API服务 界面，您可以通过点击 API文档>下载API文档，下载单个API文档；您也可以选择多个API，点击 下载API文档，下载多个API文档。说明 下载的API文档中会...
DQL操作
SELECT table1.col1,table1.col2,.table2.col1,table2.col3,.FROM table1 NATURAL JOIN table2;更多信息请参见 Join-内连接 Inner Join。Join-外连接 Outer Join SELECT select_expression,select_expression,.FROM table_reference(LEFT|...
配置AnalyticDB for MySQL 3.0输入组件
AnalyticDB for MySQL 3.0输入组件用于读取AnalyticDB for MySQL 3.0数据源的数据。同步AnalyticDB for MySQL 3.0数据源的数据至其他数据源的场景中，您需要先配置AnalyticDB for MySQL 3.0输入组件读取的数据源，再配置数据同步的目标数据...
创建SAP HANA数据源
Dataphin V3.11版本之前的创建数据源，connectTimeout默认为-1，表示无超时限制。单击 测试连接，测试数据源是否可以和Dataphin进行正常的连通。测试成功后，单击 确定，完成SAP HANA数据源的创建。后续步骤 完成SAP HANA数据源的创建后，...
创建GBase 8a数据源
Dataphin V3.11版本之前的创建数据源，socketTimeout默认为-1，表示无超时限制。connectTimeout 数据库的connectTimeout时长（单位ms），默认900000毫秒（15分钟）。说明 若您在JDBC URL中带有connectTimeout配置，则connectTimeout为JDBC ...
配置DataHub输出组件
说明 一次提交数据量、batchSize、maxCommitInterval三个参数，只需满足一个参数则进行投递。另外DataHub对于一次Request请求写入的数据条数限制是10000条，超出10000条会导致任务出错，建议将batchSize设置为小于或等于10000条，避免任务...
数据权限配置
选择全部等级后，若您申请时数据表中仅包含L1的字段，后续增加了L3的字段，则会自动赋权L3的字段，建议指定数据等级，以避免权限泄露。安全等级需开启数据安全模块。权限申请 可设置 开启 或 关闭。若权限申请关闭，权限申请单自动忽略该...
配置AnalyticDB for MySQL 3.0输入组件
AnalyticDB for MySQL 3.0输入组件用于读取AnalyticDB for MySQL 3.0数据源的数据。同步AnalyticDB for MySQL 3.0数据源的数据至其他数据源的场景中，您需要先配置AnalyticDB for MySQL 3.0输入组件读取的数据源，再配置数据同步的目标数据...
数据权限配置
选择全部等级后，若您申请时数据表中仅包含L1的字段，后续增加了L3的字段，则会自动赋权L3的字段，建议指定数据等级，以避免权限泄露。安全等级需开启数据安全模块。权限申请 可设置 开启 或 关闭。若权限申请关闭，权限申请单自动忽略该...
定义维度与构建总线矩阵
3未上架。商品所在城市。商品所在省份。从地域角度分析，我们可以定义出以下维度：城市code。城市名称。省份code。省份名称。作为维度建模的核心，维度在企业级数据仓库中必须具有唯一性。维度在每个业务板块内必须具有唯一性，即每个维度...
配置DataHub输出组件
说明 一次提交数据量、batchSize、maxCommitInterval三个参数，只需满足一个参数则进行投递。另外DataHub对于一次Request请求写入的数据条数限制是10000条，超出10000条会导致任务出错，建议将batchSize设置为小于或等于10000条，避免任务...
配置AnalyticDB for MySQL 3.0输出组件
AnalyticDB for MySQL 3.0输出组件用于向MySQL数据源写入数据。同步其他数据源的数据至AnalyticDB for MySQL 3.0数据源的场景中，完成源数据源的信息配置后，需要配置AnalyticDB for MySQL 3.0输出组件的目标数据源。本文为您介绍如何配置...
配置Amazon S3输入组件
配置Amazon S3输入组件后，可以读取Amazon S3数据源中的数据至Dataphin，进行数据集成与数据开发。本文为您介绍如何配置Amazon S3输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建Amazon S3数据源。具体操作，请参见 ...
准备RAM用户
因此，您可以创建3个RAM用户，将RAM用户同步至Dataphin后，添加为项目空间的成员并分别授予开发者、运维者和分析师的角色。前提条件 在开始创建RAM用户前，请确认您已完成阿里云账号的创建。如何创建阿里云账号，请参见 准备阿里云账号。...
新建AnalyticDB for MySQL 3.0数据源
通过创建AnalyticDB for MySQL 3.0数据源能够实现Dataphin读取AnalyticDB for MySQL 3.0的业务数据或向AnalyticDB for MySQL 3.0写入数据。本文为您介绍如何创建AnalyticDB for MySQL 3.0数据源。背景信息 云原生数据仓库AnalyticDB ...
创建GreenPlum数据源
Dataphin V3.11版本之前的创建数据源，connectTimeout默认为-1，表示无超时限制。socketTimeout 数据库的socketTimeout时长（单位s），默认1800秒（30分钟）。说明 若您在JDBC URL中带有socketTimeout配置，则socketTimeout为JDBC URL中...
- 产品推荐
- 这些文档可能帮助您