典型场景
基于湖构建数据平台，支持BI、挖掘等业务 对象存储OSS可以作为湖存储，DLA基于OSS构建一站式的大数据平台。具体包括构建数据湖、数据ETL、交互式查询、机器学习等功能。构建数据湖 实时数据湖：支持DB的CDC与消息数据（如Kafka）入湖，构建...
面临的业务挑战
数据散乱不一致 传统企业的数据具有多样性，包括结构化、半结构化以及非结构化的数据。数据来源上包含数据库数据、日志数据、对象数据以及已有数仓上的存量数据等。这些不同来源、不同格式的数据，各自又有不同的访问和分析方式，而大量...
X-Engine简介
为什么设计一个新的存储引擎 X-Engine的诞生是为了应对阿里内部业务的挑战，早在2010年，阿里内部就大规模部署了MySQL数据库，但是业务量的逐年爆炸式增长，数据库面临着极大的挑战：极高的并发事务处理能力（尤其是双十一的流量突发式暴增...
产品简介
大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户构建和持续优化的大...
产品服务等级协议
本服务等级协议（Service Level Agreement，以下简称“SLA”）约定了阿里云向客户提供的数据资源平台的服务可用性等级指标及赔偿方案。特别提示您，除非另有约定，本协议不适用于数据资源平台公测、邀测、免费的功能及版本，也不适用于数据...
常见问题
1.售前咨询渠道 尊敬的“准”大数据专家服务用户您好：如果您准备购买阿里云大数据专家服务，但是遇到如服务范围、规格、服务选择等售前方面的问题，您可以通过钉钉与我们联系，您将“当面”获得阿里云大数据专家咨询专家的建议。...
操作指南
一、大数据专家服务流程指南 二、服务流程说明 用户可以根据自己实际需要，提前或者在问题发生时购买大数据专家服务，服务项包含大数据技术架构方案咨询、大数据解决方案POC、大数据搬站迁云方案咨询、跨地域迁移支持服务、大数据专家高阶...
快速入门
本文介绍大数据专家服务的购买方式。价格 版本定价说明：点击查看价格。操作步骤 第一步：进入阿里云官网，打开 大数据专家服务 产品详情。第二步：点击大数据专家服务产品详情页中的“咨询购买”接入钉群与专家服务同学沟通场景需求。第三...
原理架构
系统架构 数据同步服务的逻辑架构图：全量同步：负责将表数据从源端数据库同步到目的端数据库，支持异构数据库间同步。增量同步：负责将源端的增量数据同步到目的端，主要包含 Store 和 JDBCWriter 两个组件。存储：采集源端 DB 的变更到...
查看计量详情
API计量详情提供了各类可视化图表及统计数据，可以针对单个API分别查看监控图表，包括API网关状态码、数据服务错误码、App请求次数、流量带宽、平均响应时间。进入计量详情页面 登录 DataWorks控制台，单击左侧导航栏的 数据服务，在下拉框...
配置数据源
使用数据服务创建API前，需先将您的数据库或数据仓库添加为DataWorks数据源，以此作为数据服务API的数据来源。开发数据服务API时，数据服务将访问该数据源获取数据表的Schema信息，帮助您进一步设置请求和返回参数。本文为您介绍如何配置...
新增和使用独享数据服务资源组
操作流程 从购买至使用独享数据服务资源组，您需进行的主要操作流程如下：购买独享数据服务资源组 绑定归属工作空间 网络连通与白名单配置 网络联通测试 应用示例：独享数据服务资源组 购买独享数据服务资源组 登录 DataWorks管理控制台。...
基本概念
本文将为您介绍数据服务的Dataphin数据源服务、API服务、分组、服务单元和应用等基本概念。基本概念 说明 Dataphin数据源 配置数据表生成Dataphin数据源。服务单元 对数据表进行统一的元数据配置。应用 消费数据服务（调用API或Dataphin...
简介
遥感大数据管理与智能服务平台 场景：遥感影像数据入库、查询、分析和遥感AI智能服务。业务痛点：遥感影像数据体量大且增量快，存储扩展不灵活，成本高昂，管理复杂。传统静态切片方式管理显示速度快，但无法支撑分析场景和AI场景。多源...
加速服务
数据服务支持对部分数据源表的查询提供加速能力，加速能力包含DataWorks数据服务提供的加速能力和MaxCompute本身支持的加速方案（MCQA）。通过使用加速服务，您可以在调用API时提高数据查询的速率和性能。本文为您介绍两种加速方案的使用...
发布函数
本文为您介绍如何发布数据服务中的函数。前提条件 请确保您已创建并保存函数。详情请参见 管理函数。请确保函数已完成测试，且执行成功，详情请参见 测试函数。发布函数 进入 数据服务 页面。登录 DataWorks控制台，单击左侧导航栏的 数据...
管理服务编排
查看服务编排 登录 DataWorks控制台，单击左侧导航栏的 数据服务，在下拉框中选择对应工作空间后单击 进入数据服务。在 服务开发 页面，展开目标服务编排所在的 业务流程>服务编排。右键单击相应的服务编排名称，选择 详情。说明 仅支持...
如何选择产品类型
Data Warehouse（数据仓库）Machine Learning（机器学习）Data Engineering（数据工程）说明 您可点击上述数据服务名称，查看该数据服务的详细介绍与具体使用操作。计费项 根据实例规格、磁盘容量和实例数量计费。其中基础版实例类型包含：...
测试函数
登录 DataWorks控制台，单击左侧导航栏的 数据服务，在下拉框中选择对应工作空间后单击 进入数据服务。在 服务开发 页面的函数列表中，双击开发中的函数名称。在函数的编辑页面，单击右上方的 测试。在 函数测试 对话框中，输入参数，单击 ...
互联网、电商行业离线大数据分析
通过阿里云MaxCompute、云数据库RDS MySQL、DataWorks等产品，可以实现互联网、电商网站的离线数据分析，且支持通过DataV大屏展示分析后的业务指标数据。概述 电商网站的销售数据通过大数据进行分析后，可以在大屏幕展示销售指标、客户指标...
通用数据查询与管理
如果需要快速地查找数据，例如查找工作空间、数据源中的表、数据分析和数据服务中的代码或API，您可以在数据地图中进行查找。进入数据地图 登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据治理>数据地图，在右侧页面中单击...
数据服务API
数据地图支持对当前租户下所有工作空间的数据服务API进行搜索和定位，实现数据服务API的高效查找。进入API查找界面 进入数据地图页面。登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据治理>数据地图，在右侧页面中单击 ...
全景视角
数据使用视角：在数据分析、发布或使用数据服务等数据使用场景下，建议您使用数据使用视角，关注查看数据使用过程中，浏览、访问过的表列表、拥有权限的数据服务等方面的情况。详情请参见：数据使用视角。数据生产视角：在数据开发场景下，...
数据服务审批策略
支持管理员从DataWorks空间级别为每次发布的数据服务API定义发布审批流程。使用限制 企业版的DataWorks支持使用数据服务审批策略。新建审批策略 进入数据治理中心页面。登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据治理...
兼容性概述
工具 连接数据库 列举数据库 查看所有表 查看表结构 查看表数据 查看视图结构 查看视图数据 Tableau FineBI FineReport Davinci Superset Yonghong BI Quick BI 观远BI连接MaxCompute 网易有数BI连接MaxCompute Sugar BI连接MaxCompute
物联网数据处理分析架构参考
本文以一个企业案例介绍如何基于阿里云物联网平台的数据服务，搭建企业物联网大数据应用架构。背景信息 随着物联网应用场景的深入，企业开始挖掘设备上传的数据，用于客户端应用扩展和服务营收，用于数字化运营、风控，帮助企业高效治理，...
外部表概述
外部表示例 您可以通过以下示例，深入了解通过MaxCompute外部表功能处理各种非结构化数据的方法：访问OSS和TableStore（OTS）非结构化数据，请参见 访问OSS非结构化数据 和 访问OTS非结构化数据。外部表访问OSS的账号，在RAM中自定义授权...
资产全景
在 流动 页面，为您可视化展示 数据引入、物理表数 和 逻辑表数，为您提供数据输出后的数据查询及应用功能：将鼠标悬停在 数据引入 模块上，为您展示的 数据源 个数、数据表接入量Top5 和 数据表接入量Least5。数据源：统计昨天有数据同步...
资产全景
在 流动 页面，为您可视化展示 数据引入、物理表数 和 逻辑表数，为您提供数据输出后的数据查询及应用功能：将鼠标悬停在 数据引入 模块上，为您展示的 数据源 个数、数据表接入量Top5 和 数据表接入量Least5。数据源：统计昨天有数据同步...
数据仓库研发规范概述
在大数据时代，规范地进行数据资产管理已成为推动互联网、大数据、人工智能和实体经济深度融合的必要条件。贴近业务属性、兼顾研发各阶段要点的研发规范，可以切实提高研发效率，保障数据研发工作有条不紊地运作。而不完善的研发流程，会...
自媒体：易撰
自媒体 网站地址：易撰 客户介绍 长沙营智信息技术有限公司是专业的新媒体大数据服务商，其旗下知名品牌易撰，基于新媒体大数据挖掘技术及NLP算法分析，为各内容创客、广告主提供全面、科学、精准的大数据分析服务以及大数据架构解决方案。...
准备数据
同步速率 设置同步速率可以保护读取端数据库，以避免抽取速度过大，给源库造成太大的压力。同步速率建议限流，结合源库的配置，请合理配置抽取速率。错误记录数 错误记录数，表示脏数据的最大容忍条数。确认当前节点的配置无误后，单击左上...
什么是EMR on ACK
阿里云E-MapReduce（简称EMR）on ACK提供了全新构建大数据平台的方式。您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对底层集群资源的运维投入，以便于您可以更加专注...
管理数据架构待发布对象
导入的发布包文件中存在数据架构变更对象时，将在待发布数据架构页面为您展示，您可在待发布数据架构页面对数据架构对象进行管理和发布。前提条件 数据架构对象所在的数据板块已经发布。待发布数据架构对象入口 请参见 发布包总览入口，...
管理数据架构待发布对象
导入的发布包文件中存在数据架构变更对象时，将在待发布数据架构页面为您展示，您可在待发布数据架构页面对数据架构对象进行管理和发布。前提条件 数据架构对象所在的数据板块已经发布。待发布数据架构对象入口 请参见 发布包总览入口，...
到期提醒与停机策略
本文将为您介绍数据资源平台的到期提醒与停机策略。到期提醒 数据资源平台实例到期前的168小时（7天）、72小时、24小时，系统将会给您发短信，提醒您所购买的实例即将到期。请您及时备份数据或续费，避免影响正常使用。停机策略 数据资源...
数据服务入门
例如，您可以将查询数据表功能快速的生成对应的API，或将已有的API注册至数据服务平台进行统一发布和管理。本文以MySQL数据源为例，为您介绍API开发的全套流程。前提条件 已开通API网关（API Gateway）服务，用于统一管理及调用API，详情请...
选型配置说明
ClickHouse、StarRocks、Zookeeper DataServing 数据服务场景，提供更灵活、可靠、高效的数据服务集群。提供HBase服务，同时可以基于OSS-HDFS（JindoFS服务）解耦计算集群与数据存储。支持JindoData本地缓存以进一步提高数据服务集群的读写...
函数概述
数据服务支持您编写函数，并将函数关联至API，使得函数可以作为API的过滤器使用，对API的请求参数或返回结果进行加工处理。本文为您介绍函数功能。使用限制 您需要购买DataWorks基础版及以上版本，才可以使用过滤器功能。Python函数正在...
产品架构
本文将介绍数据传输服务的整个系统架构及基本实现原理。系统架构 DTS系统架构特性说明 系统高可用 数据传输服务内部每个模块都有主备架构，保证系统高可用。容灾系统实时检测每个节点的健康状况，一旦发现某个节点异常，会将链路快速切换到...
- 产品推荐
- 这些文档可能帮助您