通过OpenStore智能混合存储实现海量数据存储
本文介绍使用OpenStore智能混合存储实现海量数据存储的方法。背景信息 在日志全观测场景下，通常因为业务场景或监管需求，需要长时间存储数据或归档审计。在使用开源Elasticsearch的过程中，需要进行集群冷热数据分离，将30天或者更长时间...
将Elasticsearch数据迁移至OpenStore智能混合存储
如果您需要将商业版或自建Elasticsearch集群中的数据迁移至日志增强版实例的OpenStore智能混合存储中，可以通过手动备份快照和恢复快照的方法来实现。本文介绍实现的具体操作。前提条件 已开通阿里云对象存储OSS，新建一个标准存储类型的...
数据导入概述
Quick Audience接入数据源后，您就可以将要导入的数据表存储在计算源，然后在Quick Audience声明数据表的表结构，执行调度任务，将表中的数据导入到Quick Audience，准备用于后续的分析、应用。数据导入流程 进行 ID类型管理，设置Quick ...
Dataphin PyODPS
在Dataphin中使用Python时，您可以使用Dataphin PyODPS安全地访问Dataphin项目内存储在MaxCompute的数据。背景信息 Dataphin PyODPS依赖于MaxCompute的 PyODPS。前提条件 在使用Dataphin PyODPS前，请确认您已将Dataphin计算引擎设置为...
数据传输方案
准备好智能圈选数据后，您可以使用阿里云对象存储OSS或DataWorks两种传输方案上传数据。使用阿里云对象存储OSS 推荐使用阿里云对象存储OSS(Object Storage Service)进行数据传输。重要 使用OSS数据前需要在网页端一键授权OSS访问权限，并为...
方案背景
基于表格存储搭建的智能元数据管理系统样例内嵌在表格存储控制台中，用户可登录控制台体验系统（如果您是表格存储的新用户，需要开通表格存储服务后体验，开通免费，Meta数据存储在公共实例中，体验不消耗用户存储、流量、CU）。...
数据服务系统配置
API缓存数据存储位置 在 API缓存数据存储位置 区域，单击 修改 按钮，支持指定API缓存数据的存储位置。Dataphin系统的redis：将缓存数据存储到系统公共的Redis中，将与其他模块共享存储空间，适用于缓存数据量较小的场景。应用内存：缓存...
数据建模：智能数据建模
智能数据建模是阿里云DataWorks自主研发的智能数据建模产品，沉淀了阿里巴巴十多年来数仓建模方法论的最佳实践，包含数仓规划、数据标准、维度建模及数据指标四大模块，帮助企业在搭建数据中台、数据集市建设过程中提升建模及逆向建模的...
快速入门
如果您是首次使用智能数据建设与治理Dataphin，您可以参考快速入门文档，了解如何购买实例并接入服务端。Dataphin全托管 Dataphin全托管快速入门 Dataphin半托管 Dataphin半托管快速入门
答疑支持
若您在使用智能数据建设与治理Dataphin的过程中有任何疑问，您可通过答疑支持联系我们，为您答疑解惑。操作步骤 在Dataphin页面，按照以下操作指引或单击蓝色小机器人选择 答疑支持，进入答疑支持页面后，输入您需解答的问题。依次单击 ...
配置Hive输出组件
根据Hive中数据存储格式不同，支持选择压缩格式不同：数据存储格式为 orc：支持选择的压缩格式包括 zlib、snappy。数据存储格式为 parquet：支持选择的压缩格式包括 snappy、gzip。数据存储格式为 textfile：支持选择的压缩格式包括 gzip、...
方案实现
本文主要介绍如何使用表格存储搭建海量智能元数据管理系统。前提条件 已完成 准备工作。步骤一：创建数据表 通过以下两种方式创建一张店铺信息表：通过控制台创建和管理数据表。具体操作，请参见 创建数据表。通过SDK直接创建和管理数据表...
答疑支持
若您在使用智能数据建设与治理Dataphin的过程中有任何疑问，您可通过答疑支持联系我们，为您答疑解惑。使用说明 需保证网络连通、Dataphin已升级至3.14.1及以上版本且已经对接工单系统（如需对接可联系运维部署团队）方可使用工单功能。...
安全白皮书概述
Dataphin面向各行各业大数据建设、管理及应用诉求，一站式提供从数据接入到数据消费全链路的智能数据建设与资产治理的大数据能力，包括产品、技术和方法论等，可帮助企业一站式构建生产经济、质量可靠、安全稳定、消费便捷的企业级数据资产...
应用场景
智能数据加速。针对AI训练场景提供数据智能加速，主动预热训练所需数据，提升训练效率。更高的资源利用率。支持异构资源细粒度管控，提升资源周转效率。自动驾驶 训练仿真，一站打通。全场景支持，安全合规。丰富的部署和调度策略。多种GPU...
准备数据源和计算源
准备数据源 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型及操作指导，请参见 Dataphin支持的数据源。重要 确定业务数据源类型后，在Dataphin创建...
准备数据源和计算源
准备数据源 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型及操作指导，请参见 Dataphin支持的数据源。重要 确定业务数据源类型后，在Dataphin创建...
升级
请您仔细核对购买信息并阅读 智能数据建设与治理服务协议，确认无误后选中 智能数据建设与治理服务协议。单击 去支付，支付成功后即可开始升级开通增值功能包。正在通过升级开通增值功能包的Dataphin实例，在Dataphin管理控制台页面，显示 ...
续费
请您仔细核对购买信息并阅读 智能数据构建与管理服务协议，确认无误后选中《智能数据构建与管理服务协议》。单击 去支付，支付成功后即可完成续费。说明 系统仅支持按照已购买的配置进行续费。自动续费 进入 阿里云用户中心。在 用户中心 ...
创建Hudi数据源
背景信息 Hudi即Apache Hudi，Hudi是一个通用的大数据存储系统，将核心仓库和数据库功能直接引入到数据库中，并支持记录级别的插入更新和删除数据的能力。权限说明 仅支持 超级管理员、数据源管理员、板块架构师、项目管理员 角色创建数据...
开通Dataphin
在阿里云官网，鼠标悬停至 产品 后，再将鼠标悬停至左侧导航栏的 大数据计算 上，单击 数据开发与服务 列下的 智能数据建设与治理Dataphin。在Dataphin产品详情页，单击 特惠购买，进入Dataphin购买页面。在购买页面，选择 地域、版本、...
创建Hudi数据源
背景信息 Hudi即Apache Hudi，Hudi是一个通用的大数据存储系统，将核心仓库和数据库功能直接引入到数据库中，并支持记录级别的插入更新和删除数据的能力。更多信息，请参见 Apache Hudi官网。权限说明 仅支持 超级管理员、数据源管理员、...
数据集成支持的数据源
离线集成支持的数据源 数据源 读取 写入 大数据存储型数据源 MaxCompute 支持 支持 Hologres 支持 支持 IMPALA 支持 支持 TDH Inceptor 支持 支持 StarRocks 支持 不支持 Hudi 支持 支持 Doris 支持 不支持 GreenPlum 支持 支持 TDengine ...
什么是云数据库HBase
云数据库HBase是低成本、高扩展、云智能的大数据NoSQL，兼容标准HBase访问协议，提供低成本存储、高扩展吞吐、智能数据处理等核心能力，是为淘宝推荐、花呗风控、广告投放、监控大屏、菜鸟物流轨迹、支付宝账单、手淘消息等众多阿里巴巴...
新建TDengine数据源
在 新建数据源 对话框的 大数据存储 区域，选择 TDengine。如果您最近使用过TDengine，也可以在 最近使用 区域选择TDengine。同时，您也可以在搜索框中，输入TDengine的关键词，快速搜索。在 新建TDengine数据源 对话框中，配置数据源的...
新建TDengine数据源
在 新建数据源 对话框的 大数据存储 区域，选择 TDengine。如果您最近使用过TDengine，也可以在 最近使用 区域选择TDengine。同时，您也可以在搜索框中，输入TDengine的关键词，快速搜索。在 新建TDengine数据源 对话框中，配置数据源的...
数据集成支持的数据源
离线集成支持的数据源 数据源 读取 写入 大数据存储型数据源 MaxCompute 支持 支持 Hive 支持 支持 Hologres 支持 支持 IMPALA 支持 支持 TDH Inceptor 支持 支持 Kudu 支持 支持 StarRocks 支持 支持 Hudi 支持 支持 Doris 支持 支持 ...
创建Kudu数据源
在 新建数据源 对话框的 大数据存储 区域，选择 Kudu。如果您最近使用过Kudu，也可以在 最近使用 区域选择Kudu。同时，您也可以在搜索框中，输入Kudu的关键词，快速筛选。在 新建Kudu数据源 对话框中，配置连接数据源参数。配置数据源的...
用户价值
通过标准化、精细化、规格化的智能数据生产流程，完成流水线式的数据生产作业，提升数据资源生产效率、消除数据供应品质差异。数据服务更便捷：能够赋予数据以业务价值，让各级用户能够直观的理解数据，并以此为基础向应用输出多样、便捷的...
资产全景
总数据量：分布式数据存储可能有多个副本（取决于计算引擎本身配置），当前展示的存储量为所有副本存储总量。仅统计生产项目（包括 prod 和 basic 项目），T+1 更新。总数据表数：生产环境所有物理表和逻辑表总数，实时更新。总项目数：...
计算设置概述
计算引擎 说明 操作文档 离线计算引擎 MaxCompute 阿里原生的大数据计算平台，承载海量数据存储与计算能力，高效率与高稳定性。设置Dataphin实例的计算引擎为MaxCompute 实时计算引擎 阿里云实时计算Flink 阿里云新一代计算引擎Flink，支持...
新建Doris数据源
在新建数据源对话框的 大数据存储 区域，选择Doris。如果您最近使用过Doris，也可以在最近使用区域选择Doris。同时，您也可以在搜索框中，输入Doris的关键词，快速筛选。在 新建Doris数据源 对话框中，配置连接数据源参数。配置数据源的...
资产全景
总数据量：分布式数据存储可能有多个副本（取决于计算引擎本身配置），当前展示的存储量为所有副本存储总量。机器学习PAI模型训练绑定的MaxCompute项目的数据量、外部项目计算源的数据量的不纳入计算。仅统计生产项目（包括 prod 和 basic ...
新建Doris数据源
在新建数据源对话框的 大数据存储 区域，选择Doris。如果您最近使用过Doris，也可以在最近使用区域选择Doris。同时，您也可以在搜索框中，输入Doris的关键词，快速筛选。在 新建Doris数据源 对话框中，配置连接数据源参数。配置数据源的...
Dataphin免费试用申请
申请信息填写完后，勾选 我已阅读并同意《Dataphin智能数据建设与治理试用服务协议》，单击 免费试用，体验Dataphin功能。相关文档 试用开通成功后，您可按照 Dataphin新手引导 一步步体验Dataphin的研发流程，也可按照 导入模型 来导入...
创建MaxCompute数据源
在 新建数据源 对话框的 大数据存储 区域，选择 MaxCompute。如果您最近使用过MaxCompute，也可以在 最近使用 区域选择MaxCompute。同时，您也可以在搜索框中，输入MaxCompute的关键词，快速筛选。在 新建MaxCompute数据源 对话框中，配置...
创建MaxCompute数据源
在 新建数据源 对话框的 大数据存储 区域，选择 MaxCompute。如果您最近使用过MaxCompute，也可以在 最近使用 区域选择MaxCompute。同时，您也可以在搜索框中，输入MaxCompute的关键词，快速筛选。在 新建MaxCompute数据源 对话框中，配置...
创建MySQL数据源
常用于网站、应用程序和商业产品，是一种常见的主要关系数据存储系统。更多详情请参见 MySQL官网。使用限制 Dataphin仅支持 超级管理员、数据源管理员、板块架构师、项目管理员 角色创建数据源。操作步骤 在Dataphin首页，单击顶部菜单栏的...
数据源管理概述
功能介绍 多数据源类型接入：Dataphin内置丰富的数据源类型，支持对接的数据源包括大数据存储型数据源、文件型数据源、消息队列型数据源、关系型数据源和NoSQL数据源。更多信息，请参见 Dataphin支持的数据源。自定义数据源类型：在内置的...
数据源管理概述
功能介绍 多数据源类型接入：Dataphin内置丰富的数据源类型，支持对接的数据源包括大数据存储型数据源、文件型数据源、消息队列型数据源、关系型数据源和NoSQL数据源。更多信息，请参见 Dataphin支持的数据源。自定义数据源类型：在内置的...
- 产品推荐
- 这些文档可能帮助您