数据服务概述
数据安全和查询性能无法保障：在数据接口开发时往往只考虑数据的获取性，数据资源访问安全性和数据访问的稳定性考虑少。维护成本高：缺乏线上平台化管理，异常情况无法监控告警，线上业务问题暴露后再排查代码修复上线。数据服务价值 为了...
创建Kudu数据源
Kudu适用HTAP场景（例如物联网），对于数据处理系统的复杂性提出了更高的要求。从早期的OLTP、OLAP拆分，到后来的Lambda架构，都存在数据复制和同步的复杂性，而Kudu的单一数据架构，规避了传统架构数据复制和同步的复杂性。更多详情请参见...
计算设置概述
计算引擎 说明 操作文档 离线计算引擎 MaxCompute 阿里原生的大数据计算平台，承载海量数据存储与计算能力，高效率与高稳定性。设置Dataphin实例的计算引擎为MaxCompute 实时计算引擎 阿里云实时计算Flink 阿里云新一代计算引擎Flink，支持...
购买指引-全托管
版本适用场景 Dataphin提供了多种版本和功能的组合，以适配不同场景、不同数据体量客户的诉求：智能研发版（离线&实时）：支持离线研发和实时研发场景，可创建生产开发隔离的双环境项目，提供智能建模、逻辑运维等特色功能，适用于数据量...
创建Oracle数据源
背景信息 Oracle是一款可移植好、可靠性好、适应高、功能强大的关系型数据库。如果您使用的是Oracle，在对接Dataphin进行数据开发时，您需要先完成Oracle数据源的创建。更多Oracle信息，请参见 Oracle官网。权限说明 仅支持具备新建数据源...
创建Oracle数据源
背景信息 Oracle是一款可移植好、可靠性好、适应高、功能强大的关系型数据库。如果您使用的是Oracle，在对接Dataphin进行数据开发时，您需要先完成Oracle数据源的创建。更多Oracle信息，请参见 Oracle官网。权限说明 仅支持具备新建数据源...
产品计费
智能双录质检提供三种模式的检测服务，分别是本地双录质检、远程双录质检和云端双录质检。这三种检测服务均采用后付费方式进行计费，本文分别对三种服务的计费规则进行说明。本地双录质检 当您使用智能双录质检提供的 SDK（Android 或 iOS...
设备级高可用
智能接入网关支持设备级高可用。在购买智能接入网关设备时，您可以选择购买两台设备，两台设备绑定到同一实例中，互为备份，在一台设备发生故障时进行设备切换，保障业务不中断。通过本文您可以在智能接入网关控制台查看设备级备份信息。...
汇总数据层（DWS）
汇总数据层以分析的主题对象作为建模驱动，基于上层的应用和产品的指标需求构建公共粒度的汇总表。汇总数据层的一个表通常会对应一个统计粒度（维度或维度组合）及该粒度下若干派生指标。汇总表设计原则 聚集是指针对原始明细粒度的数据...
步骤二：实时项目规划
本文将指导您完成本教程的Ververica Flink计算源、数据源、实时项目的创建与绑定。步骤一：创建 Ververica Flink 计算源 在Dataphin首页，单击顶部菜单栏的 规划。按照下图操作指引，进入 Ververica Flink新建计算源 页面。在 新建计算源 ...
步骤二：实时项目规划
本文将指导您完成本教程的Ververica Flink计算源、数据源、实时项目的创建与绑定。步骤一：创建 Ververica Flink 计算源 在Dataphin首页，单击顶部菜单栏的 规划。按照下图操作指引，进入 Ververica Flink新建计算源 页面。在 新建计算源 ...
步骤二：规划数仓
数仓规划是基于Dataphin建设数据中台的第一步，同时也是数据体系的顶层设计中至关重要的一步。在开始数据开发前，需要完成数据仓库的规划，包括定义数据板块、项目、数据源、计算源和统计周期。本文将指导您完成本教程的规划数仓。背景信息...
步骤二：规划数仓
数仓规划是基于Dataphin建设数据中台的第一步，同时也是数据体系的顶层设计中至关重要的一步。在开始数据开发前，需要完成数据仓库的规划，包括定义数据板块、项目、数据源、计算源和统计周期。本文将指导您完成本教程的规划数仓。背景信息...
创建达梦（DM）数据源
达梦（DM）数据库吸收借鉴当前先进新技术思想与主流数据库产品的优点，融合了分布式、弹性计算与云计算的优势，具有灵活性、易用性、可靠性、高安全性等特点。如果您使用的是达梦（DM），在导出Dataphin数据至达梦（DM），您需要先完成达梦...
创建达梦（DM）数据源
达梦（DM）数据库吸收借鉴当前先进新技术思想与主流数据库产品的优点，融合了分布式、弹性计算与云计算的优势，具有灵活性、易用性、可靠性、高安全性等特点。如果您使用的是达梦（DM），在导出Dataphin数据至达梦（DM），您需要先完成达梦...
功能特性
阿里云工业视觉智能从工作区、数据集和模型三个维度帮助用户建立对视觉智能的完整管理能力。同时通过覆盖标注、训练和部署三个环节，实现视觉智能在应用上的闭环。面向业务场景的工作区管理 工业领域垂直细分众多，从生产环境、工艺、设备...
批量创建质量规则
一致性：包含 单表字段值一致性比较、单表字段统计值一致性比较、单字段业务逻辑一致性比较、两表字段值一致性比较、两表字段统计值一致性比较、两表字段业务逻辑一致性比较 和 跨源两表字段统计值一致性比较。稳定性：包含 表稳定性校验、...
批量创建质量规则
一致性：包含 单表字段值一致性比较、单表字段统计值一致性比较、单字段业务逻辑一致性比较、两表字段值一致性比较、两表字段统计值一致性比较、两表字段业务逻辑一致性比较 和 跨源两表字段统计值一致性比较。稳定性：包含 表稳定性校验、...
资产质量概述
因业务系统的原始数据的规范性无法得以保障，所以Dataphin需要定义数据分析的质量，以满足资产质量的时效性、准确性、完整性、一致性、有效性，助您真正能够依赖数据进行经营决策。数据质量流程引导 数据质量流程引导帮助您从（可选）配置...
资产质量概述
因业务系统的原始数据的规范性无法得以保障，所以Dataphin需要定义数据分析的质量，以满足资产质量的时效性、准确性、完整性、一致性、有效性，助您真正能够依赖数据进行经营决策。数据质量流程引导 数据质量流程引导帮助您从（可选）配置...
查看基本信息
在您购买智能接入网关设备后，系统会创建一个智能接入网关实例帮您管理智能接入网关设备，您可以通过智能接入网关实例查看您智能接入网关设备的基本信息。操作步骤 登录 智能接入网关管理控制台。在顶部菜单栏，选择目标区域。在 智能接入...
质量规则模板类型
数据源模板类型 模板分类 模板说明 稳定性 数据源连通性监测 用于对数据源的连通性进行监控。表结构异动监测 用于对表的元数据变动进行监控。实时元表模板类型 模板详情分类 描述 一致性 实时离线对比 当实时数据与离线数据使用相同的统计...
质量规则模板类型
数据源模板类型 模板分类 模板说明 稳定性 数据源连通性监测 用于对数据源的连通性进行监控。表结构异动监测 用于对表的元数据变动进行监控。实时元表模板类型 模板详情分类 描述 一致性 实时离线对比 当实时数据与离线数据使用相同的统计...
资产应用概述
Dataphin标签平台提供了标签的离线服务，可将标签的数据周期性的导出到目标数据源；画像服务可提供通过实体ID查询个体画像的服务；标签平台也提供了实时查询实体ID对应的标签值的能力，也可通过API分页查询群组ID及对应的标签值。权限说明 ...
推送记录
系统根据来源模块划分为不同的 告警原因：离线计算 包括 业务延迟过高、TPS超过范围、失败超过配置比例、数据滞留超过配置、出错、完成、运行超时、未完成。数据质量 包括 表规则异常、字段规则异常 和 自定义规则异常。数据服务 包括 平均...
推送记录
系统根据来源模块划分为不同的 告警原因：离线计算 包括 业务延迟过高、TPS超过范围、失败超过配置比例、数据滞留超过配置、出错、完成、运行超时、未完成。数据质量 包括 表规则异常、字段规则异常 和 自定义规则异常。数据服务 包括 平均...
查看结果
查看结果列表 登录 智能双录质检控制台，在左侧导航栏中，选择 本地双录>本地双录结果，进入本地双录结果页面。在本地双录结果列表中，您可以查看本地双录结果的相关信息。录制 ID：由系统自动生成，用来唯一标识某一本地录制的音视频。...
运行设置
但是大批量任务同时运行时会导致运行资源占用率高，影响共享运行资源任务（如SQL任务）的调度，从而影响业务数据产出及时性。因此支持引用了同一个离线计算模板的多个Shell和Python任务可以共享运行资源，以提升资源利用率。出于权限控制和...
Dataphin支持的数据源
背景信息 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型说明如下：如果您需要在Dataphin中连接某数据源，则需要先在数据源管理中创建该数据源。...
新建AnalyticDB for MySQL 3.0数据源
背景信息 云原生数据仓库AnalyticDB MySQL版（简称ADB，原分析型数据库MySQL版），是阿里巴巴自主研发的海量数据实时高并发在线分析云计算服务，使得您可以在毫秒级针对千亿级数据进行即时的多维分析透视和业务探索。更多信息，请参见 云...
新建AnalyticDB for MySQL 3.0数据源
背景信息 云原生数据仓库AnalyticDB MySQL版（简称ADB，原分析型数据库MySQL版），是阿里巴巴自主研发的海量数据实时高并发在线分析云计算服务，使得您可以在毫秒级针对千亿级数据进行即时的多维分析透视和业务探索。更多信息，请参见 云...
Dataphin支持的数据源
背景信息 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型说明如下：如果您需要在Dataphin中连接某数据源，则需要先在数据源管理中创建该数据源。...
实时模式State配置
通过合理的配置Flink的State数据过期时间可以提高资源利用率、内存管理、数据一致性和容错性。本文将为您介绍如何配置Flink实时任务的State过期时间。操作步骤 请参见 实时模式配置入口，进入实时任务的 实时模式 配置页面。在配置面板中...
实时模式State配置
通过合理的配置Flink的State数据过期时间可以提高资源利用率、内存管理、数据一致性和容错性。本文将为您介绍如何配置Flink实时任务的State过期时间。操作步骤 请参见 实时模式配置入口，进入实时任务的 实时模式 配置页面。在配置面板中...
什么是Dataphin
Dataphin是阿里巴巴集团OneData数据治理方法论内部实践的云化输出，一站式提供数据采、建、管、用全生命周期的大数据能力，以助力企业显著提升数据治理水平，构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin兼容多种计算...
资产全景
在 流动 页面，为您可视化展示 数据引入、物理表数 和 逻辑表数，为您提供数据输出后的数据查询及应用功能：将鼠标悬停在 数据引入 模块上，为您展示的 数据源 个数、数据表接入量Top5 和 数据表接入量Least5。数据源：统计昨天有数据同步...
资产全景
在 流动 页面，为您可视化展示 数据引入、物理表数 和 逻辑表数，为您提供数据输出后的数据查询及应用功能：将鼠标悬停在 数据引入 模块上，为您展示的 数据源 个数、数据表接入量Top5 和 数据表接入量Least5。数据源：统计昨天有数据同步...
查看结果
查看结果列表 登录 智能双录质检控制台，在左侧导航栏中，选择 远程双录>远程双录结果，进入远程双录结果页面。在远程双录结果列表中，您可以查看远程双录结果的相关信息。房间 ID：即音视频房间 ID，由系统自动生成，用来唯一标识某一音...
什么是智能众包
人工智能众包（AI Crowdsourcing）基于共享人力资源模式，为人工智能算法提供数据采集、清洗、标注等服务，帮助企业快速构建算法数据集。人工智能众包（AI Crowdsourcing）基于共享人力资源模式，为人工智能算法提供数据采集、清洗、标注等...
配置DataHub输出组件
配置DataHub输出组件，可以将外部数据库中读取数据写入到DataHub，或从大数据平台对接的存储系统中将数据复制推送至DataHub，进行数据整合和再加工。本文为您介绍如何配置DataHub输出组件。前提条件 已创建DataHub数据源。具体操作，请参见...
- 产品推荐
- 这些文档可能帮助您