查询数据代码说明
本文将为您介绍在Dataphin中使用代码方式查询数据时存在的限制和规则。使用限制 Dataphin最多返回10000条查询结果的记录。您可以在查询语句后增加 limit 返回条数，自定义返回记录的条数，例如 select*from ht5_out limit 20;...
查询数据代码说明
本文将为您介绍在Dataphin中使用代码方式查询数据时存在的限制和规则。使用限制 Dataphin最多返回10000条查询结果的记录。您可以在查询语句后增加 limit 返回条数，自定义返回记录的条数，例如 select*from ht5_out limit 20;...
配置DM（达梦）输出组件
配置DM（达梦）输出组件，可以将外部数据库中读取的数据写入到DM（达梦），或从大数据平台对接的存储系统中将数据复制推送至DM（达梦），进行数据整合和再加工。本文为您介绍如何配置DM（达梦）输出组件。前提条件 已创建DM（达梦）数据源...
SQL可视化图表
SQL查询的可视化图表功能可以帮助您快速、便捷地对查询结果进行可视化展示与分析，支持的图表类型包括折线图、柱状图、条形图和饼图。本文为您介绍不同类型图表的适用场景，辅助您快速选取合适的图表进行数据呈现和展示。...
SQL可视化图表
SQL查询的可视化图表功能可以帮助您快速、便捷地对查询结果进行可视化展示与分析，支持的图表类型包括折线图、柱状图、条形图和饼图。本文为您介绍不同类型图表的适用场景，辅助您快速选取合适的图表进行数据呈现和展示。...
离线模式配置概述
对于流批一体任务的离线模式您需定义该任务实时相关的属性，包括任务资源、时间参数、Checkpoint 等。本文为您介绍流批一体任务实时模式配置的相关内容。离线模式配置入口 在Dataphin首页，单击顶部菜单栏的 研发。按照下图操作指引，进入 ...
实时模式Checkpoint配置
实时任务的Checkpoint可以将任务的状态保存到持久化存储中，可有效的帮助当前任务运行意外崩溃后，重新运行程序时恢复到崩溃前的状态。本文将为您介绍如何配置实时任务的Checkpoint配置。操作步骤 请参见 实时模式配置入口，进入实时任务的...
实时模式Checkpoint配置
实时任务的Checkpoint可以将任务的状态保存到持久化存储中，可有效的帮助当前任务运行意外崩溃后，重新运行程序时恢复到崩溃前的状态。本文将为您介绍如何配置实时任务的Checkpoint配置。操作步骤 请参见 实时模式配置入口，进入实时任务的...
创建GreenPlum数据源
背景信息 Greenplum是一款大数据分析引擎，作用于分析、机器学习和AI等领域。其架构主要针对管理大规模分析型数据仓库以及商业智能工作负载而设计。更多详情，请参见 GreenPlum官网。使用限制 Dataphin仅支持超级管理员、数据源管理员、...
数据集成支持的数据源
离线集成支持的数据源 数据源 读取 写入 大数据存储型数据源 MaxCompute 支持 支持 Hive 支持 支持 Hologres 支持 支持 IMPALA 支持 支持 TDH Inceptor 支持 支持 Kudu 支持 支持 StarRocks 支持 支持 Hudi 支持 支持 Doris 支持 支持 ...
创建服务项目
适用于使用范围广，影响面大的重要API，如果变更发布到线上会严重影响下游时可以拦截。被组合API引用时，拦截不允许发布：API被组合API引用时，不允许新版本发布到线上，保证组合API的正常调用，调用受影响的应用由开发人员线下通知对应...
质量规则模板类型
如果差异较大，可能存在较大数据质量的问题需要进行确认和修复。实时多链路对比 高可用场景下，需要构建多条链路，以便数据出现异常时，能够及时切换。对于多链路之间的数据计算进度监控则可以发现一些数据滞留、统计偏差问题，提升实时...
Dataphin支持的实时数据源
Ververica Flink支持的实时数据源 存储类型 数据源类型 读 写 维表读 大数据存储 MaxCompute 支持 支持 支持 DataHub 支持 支持-Hologres 支持 支持 支持 数据湖 Hudi 支持 支持-Iceberg 支持（仅支持原生DDL方式）支持（仅支持原生DDL方式...
新建FusionInsight Flink计算源
大小写敏感：队列名称大小写敏感，即名称中的大小写字母为不同的字符。唯一性：队列名称必须是计算源唯一，不能与其他队列名称重复。若需配置多个任务队列，您可单击+添加 进行新增。重要 添加的资源队列个数最多支持 10个。若需删除多余的...
质量规则模板类型
如果差异较大，可能存在较大数据质量的问题需要进行确认和修复。实时多链路对比 高可用场景下，需要构建多条链路，以便数据出现异常时，能够及时切换。对于多链路之间的数据计算进度监控则可以发现一些数据滞留、统计偏差问题，提升实时...
创建GreenPlum数据源
背景信息 Greenplum是一款大数据分析引擎，作用于分析、机器学习和AI等领域。其架构主要针对管理大规模分析型数据仓库以及商业智能工作负载而设计。更多详情，请参见 GreenPlum官网。使用限制 Dataphin仅支持超级管理员、数据源管理员、...
实时模式配置概述
对于流批一体任务的实时模式您需定义该任务实时相关的属性，包括任务资源、时间参数、Checkpoint 等。本文为您介绍流批一体任务实时模式配置的相关内容。实时模式配置入口 在Dataphin首页，单击顶部菜单栏的 研发。按照下图操作指引，进入 ...
SQL使用限制
本文为您介绍基于Dataphin使用MaxCompute SQL的限制项。限制项 最大值/限制条件 分类 说明 表名长度 128字节 长度限制 表名、列名中不能有特殊字符，以字母开头，且只能用英文小写字母（a-z）、英文大写字母（A-Z）、数字和下划线（_）。...
配置ArgoDB输出组件
配置ArgoDB输出组件，可以将外部数据库中读取的数据写入到ArgoDB，或从大数据平台对接的存储系统中将数据复制推送至ArgoDB，进行数据整合和再加工。本文为您介绍如何配置ArgoDB输出组件。使用限制 ArgoDB输出组件支持写入文件格式为orc、...
创建衍生原子指标
衍生原子指标是基于已提交原子指标，设定计算逻辑而构成的指标。例如，一个已提交的原子指标为支付金额，另一个已提交的原子指标为支付人数，您可以通过新建衍生原子指标的方式统计人均支付金额。本文为您介绍如何创建衍生原子指标。...
创建衍生原子指标
衍生原子指标是基于已提交原子指标，设定计算逻辑而构成的指标。例如，一个已提交的原子指标为支付金额，另一个已提交的原子指标为支付人数，您可以通过新建衍生原子指标的方式统计人均支付金额。本文为您介绍如何创建衍生原子指标。...
新建Flink计算源
大小写敏感：队列名称大小写敏感，即名称中的大小写字母为不同的字符。唯一性：队列名称必须是计算源唯一，不能与其他队列名称重复。若需配置多个任务队列，您可单击+添加 进行新增。说明 添加的资源队列个数仅支持10个。若需删除多余的...
离线模式依赖关系配置
说明 节点的输出名称是全局唯一的，且不区分大小写。单击 确定新增。同时您还可以单击 操作 列下的 图标，删除已添加的依赖节点。当前节点 通过执行如下操作，设置当前节点的输出名称，根据需要您可以设置多个输出名称，供其他节点依赖使用...
新建资产专题
资产专题能够帮助您对资产进行更细粒度的分析管理，以便更快、更精准的搜索资产和更好的进行资产运营管理。本文为您介绍如何新建及管理资产专题。权限说明 超级管理员和运营管理员支持新建及管理所有专题分组、资产专题以及精选专题。...
离线模式依赖关系配置
说明 节点的输出名称是全局唯一的，且不区分大小写。单击 确定新增。同时您还可以单击 操作 列下的 图标，删除已添加的依赖节点。当前节点 通过执行如下操作，设置当前节点的输出名称，根据需要您可以设置多个输出名称，供其他节点依赖使用...
配置DataHub输出组件
配置DataHub输出组件，可以将外部数据库中读取数据写入到DataHub，或从大数据平台对接的存储系统中将数据复制推送至DataHub，进行数据整合和再加工。本文为您介绍如何配置DataHub输出组件。前提条件 已创建DataHub数据源。具体操作，请参见...
离线模式配置概述
对于流批一体任务的离线模式您需定义该任务实时相关的属性，包括任务资源、时间参数、Checkpoint 等。本文为您介绍流批一体任务实时模式配置的相关内容。离线模式配置入口 在Dataphin首页，单击顶部菜单栏的 研发。按照下图操作指引，进入 ...
新建资产专题
资产专题能够帮助您对资产进行更细粒度的分析管理，以便更快、更精准的搜索资产和更好的进行资产运营管理。本文为您介绍如何新建及管理资产专题。权限说明 超级管理员和运营管理员支持新建及管理所有专题分组、资产专题以及精选专题。...
配置DataHub输出组件
配置DataHub输出组件，可以将外部数据库中读取数据写入到DataHub，或从大数据平台对接的存储系统中将数据复制推送至DataHub，进行数据整合和再加工。本文为您介绍如何配置DataHub输出组件。前提条件 已创建DataHub数据源。具体操作，请参见...
SQL使用限制
本文为您介绍基于Dataphin使用MaxCompute SQL的限制项。限制项 最大值/限制条件 分类 说明 表名长度 128字节 长度限制 表名、列名中不能有特殊字符，必须以字母开头，且只能使用英文小写字母（a-z）、英文大写字母（A-Z）、数字和下划线（_...
新建Session集群
每个租户下可以通过Session集群资源组创建Session集群，用于Flink任务的开发调试。本文将为您介绍如何基于Session集群资源组新建Session集群。使用限制 目前一个租户仅支持创建一个Session集群。权限说明 仅支持 超级管理员 或 系统管理员 ...
规划和设计
安全是需要设计和规划的，应在构建基于云或本地数据中心的同时，建设安全系统和相关控制措施，建立配套安全管理流程和机制，建立安全意识管理体系等。并将技术控制措施、管理流程、人员组织配套的融入云基础设施的构建、业务开发，应用上线...
新建Doris数据源
在新建数据源对话框的 大数据存储 区域，选择Doris。如果您最近使用过Doris，也可以在最近使用区域选择Doris。同时，您也可以在搜索框中，输入Doris的关键词，快速筛选。在 新建Doris数据源 对话框中，配置连接数据源参数。配置数据源的...
实时模式配置概述
对于实时任务的实时模式您需要定义该任务实时相关的属性，包括 时间参数、Checkpoint 等。本文为您介绍实时任务实时模式配置的相关内容。实时模式配置入口 在Dataphin首页，单击顶部菜单栏的 研发。按照下图操作指引，进入实时 任务 实时...
新建Doris数据源
在新建数据源对话框的 大数据存储 区域，选择Doris。如果您最近使用过Doris，也可以在最近使用区域选择Doris。同时，您也可以在搜索框中，输入Doris的关键词，快速筛选。在 新建Doris数据源 对话框中，配置连接数据源参数。配置数据源的...
新建TDengine数据源
在 新建数据源 对话框的 大数据存储 区域，选择 TDengine。如果您最近使用过TDengine，也可以在 最近使用 区域选择TDengine。同时，您也可以在搜索框中，输入TDengine的关键词，快速搜索。在 新建TDengine数据源 对话框中，配置数据源的...
新建TDengine数据源
在 新建数据源 对话框的 大数据存储 区域，选择 TDengine。如果您最近使用过TDengine，也可以在 最近使用 区域选择TDengine。同时，您也可以在搜索框中，输入TDengine的关键词，快速搜索。在 新建TDengine数据源 对话框中，配置数据源的...
离线集成管道通道配置
流量监控 无流量时间阈值 如读取数据与结果传输的过程中，由于查询与传输数据时间过久或数据库负载过大，无数据流量持续时间超过该时长，则置任务失败。默认30分钟，最小值为5，最大值为2880分钟（48小时）。单击 确定，完成通道配置。后续...
配置API输出组件
配置API输出组件，可以将外部数据库中读取的数据写入到API，或从大数据平台对接的存储系统中将数据复制推送至API，进行数据整合和再加工。本文为您介绍如何配置API输出组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建API...
多活架构介绍
本文介绍各解决方案的架构特点，并对比各解决方案的建设成本、容灾能力和适用场景。架构特点 同城多活 同城机房间的物理距离通常≤50 km，跨机房的网络延迟较小（RT≤2 ms）。应用跨机房冗余部署，同时对外提供服务。中间件、数据库跨机...
- 产品推荐
- 这些文档可能帮助您