分析业务过程
对业务过程进行分解，了解过程中的每一个环节会产生哪些数据，数据的内容是什么。数据在什么情况下会更新，更新的逻辑是什么。业务过程可以是单个业务事件，例如交易的支付、退款等；也可以是某个事件的状态，例如当前的账户余额等；还可以...
分析业务过程
对业务过程进行分解，了解过程中的每一个环节会产生哪些数据，数据的内容是什么。数据在什么情况下会更新，更新的逻辑是什么。业务过程可以是单个业务事件，例如交易的支付、退款等；也可以是某个事件的状态，例如当前的账户余额等；还可以...
分析业务过程
对业务过程进行分解，了解过程中的每一个环节会产生哪些数据，数据的内容是什么。数据在什么情况下会更新，更新逻辑是什么。业务过程可以是单个业务事件（例如交易的支付、退款），也可以是某个事件的状态（例如当前的账户余额），还可以是...
数据迁移与同步FAQ
DTS的数据迁移与数据同步工作原理是什么？DTS的数据迁移与数据同步有什么区别？使用DTS遇到预检查报错，如何解决？什么是数据迁移、数据同步？数据迁移：将Redis数据库中的数据（即键值对）迁移至另一个Redis数据库中。通常迁移完成后即可...
功能特性
数据迁移 数据迁移功能帮助您实现同构或异构数据源之间的数据迁移，适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景 功能集 功能 功能描述 参考文档 同构迁移 逻辑迁移 支持同构数据库间的数据迁移。自建MySQL...
产品概述
什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...
IoT数据自动化同步至云端解决方案
物联网的体系结构包括设备、网络、平台、分析、应用和安全，其中分析部分的主要内容为大数据分析。大数据分析是大数据完成数据价值化的重要手段之一，而进行大数据分析的第一步是让数据成功上云。解决方案 IoT数据自动化同步至云端解决方案...
基于MaxCompute进行大数据BI分析
本实践以电商行业为例，通过MaxCompute、DataWorks对业务数据和日志数据进行ETL处理，并同步至分析型数据库MySQL（AnalyticDB MySQL）进行实时分析，再通过Quick BI进行可视化展示。背景信息 MaxCompute：用于进行大规模数据计算，详情请...
实时同步常见问题
实时同步MySQL数据常见问题 实时同步MySQL数据源的数据时，一开始读到数据，一段时间后无法读到数据，怎么处理？实时同步Oracle、PolarDB、MySQL常见问题 实时同步Oracle、PolarDB、MySQL任务重复报错 报错信息与解决方案 报错信息与解决...
Delta Lake概述
Delta Lake以数据为中心，围绕数据流走向（数据从流入数据湖、数据组织管理和数据查询到流出数据湖）推出了一系列功能特性，协助您搭配第三方上下游工具，搭建快捷、易用和安全的数据湖。背景信息 通常的数据湖方案是选取大数据存储引擎...
大数据专家服务
大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户构建和持续优化的大...
2022年
什么是数据校验 2022年8月 类型 重点内容 相关文档 新增 支持MongoDB到Lindorm的迁移功能。云数据库MongoDB版迁移至云原生多模数据库Lindorm 优化 经典网络订阅功能下线。订阅方案概览 2022年7月 类型 重点内容 相关文档 新增 支持创建跨境...
透明数据加密概述
RDS PostgreSQL支持透明数据加密（Transparent Data Encryption，简称TDE），对数据文件进行实时加密和解密，保护用户数据隐私，本文介绍透明数据加密的基本概念和加密原理。什么是透明数据加密 透明数据加密指对数据文件执行实时I/O加密和...
产品概述
产品描述 Dataphin是集产品、技术、方法论于一体的智能大数据平台建设引擎，为您提供数据引入、规范定义、建模研发、资产管理、数据服务等全链路智能数据建设及治理服务。功能 描述 Dataphin全托管 全托管又称公共云多租户模式，只需购买...
概述
DataWorks（数据工场，原大数据开发套件）是阿里云重要的PaaS（Platform-as-a-Service）平台产品，为您提供 数据集成、数据开发、数据地图、数据质量 和 数据服务 等全方位的产品服务，一站式开发管理的界面，帮助企业专注于数据价值的挖掘...
编辑数据源
本文为您介绍编辑数据源的方法。数据源添加完成之后，您可以根据大屏展示的需要，编辑数据源的内容。推荐在画布编辑页面编辑数据源。除了可以编辑数据源，还可以在该页面完成 数据映射、添加过滤器 和设定数据 自动更新 时间。操作步骤 ...
配置任务时测试连接失败的排查及解决方法
概述 配置数据迁移任务时，可以进行数据库连接测试，很多时候会遇到测试连接失败。本文根据不同的实例类型介绍可能失败的原因及对应的解决方案。详细信息 当连接性预检查失败时，可能是由于如下原因：诊断内容 可能原因 解决方法 JDBC 数据...
数据源权限管理
本文为您汇总数据源权限管理相关的问题。哪些角色可以管理数据源的权限？是否支持再次分享已被分享的数据源？数据源的创建者是否有权控制该数据源？什么是私有模式的数据源？哪些用户能够收回数据源的分享权限？如何检查数据源分享关系的...
创建GreenPlum数据源
通过创建GreenPlum数据源能够实现Dataphin读取GreenPlum的业务数据或向GreenPlum写入数据。本文为您介绍如何创建GreenPlum数据源。背景信息 Greenplum是一款大数据分析引擎，作用于分析、机器学习和AI等领域。其架构主要针对管理大规模分析...
图层配置项说明
本文对三维城市构建器项目内的图层配置项进行了概括性说明...说明 如果 数据项目 和 数据集 配置项内没有任何可供配置数据类型的内容，请您单击面板内 前往空间构建平台管理数据 处，进入空间构建平台配置数据。详情请参见 空间数据管理概览。
技术发展趋势
规模爆炸性增长 随着8K、5G、IoT、大数据、AI等系列技术的发展，数据量迎来了爆发式增长。IDC在《Data Age 2025》的报告中预测，从2018年到2025年，全球数据将从33ZB急速增长到175ZB，比2016年产生的数据量增加了十倍。这表明注重数据价值...
图层配置项说明
数据图元组件、栅格瓦片、地形瓦片、三维瓦片 和 其他：在这五个类型图层数据面板中，数据配置和普通图表组件一致，可配置静态数据源、API数据源和空间构建数据源内容，还可将图层数据接口作为区块数据接口，在可视化应用中配置更丰富的...
图层配置项说明
数据图元组件、栅格瓦片、地形瓦片、三维瓦片 和 其他：在这五个类型图层数据面板中，数据配置和普通图表组件一致，可配置静态数据源、API数据源和空间构建数据源内容，还可将图层数据接口作为区块数据接口，在可视化应用中配置更丰富的...
图层配置项说明
数据图元组件、栅格瓦片、地形瓦片、三维瓦片 和 其他：在这五个类型图层数据面板中，数据配置和普通图表组件一致，可配置静态数据源、API数据源和空间构建数据源内容，还可将图层数据接口作为区块数据接口，在可视化应用中配置更丰富的...
独享资源组
独享资源组使用场景 独享调度资源组使用场景 独享数据集成资源组使用场景 独享资源组网络配置 独享资源组访问VPC环境下数据的前提条件是什么？如何查看数据源的网络环境？添加独享资源组白名单 独享资源组商业化行为 如何对资源组进行续费...
如何恢复误删除的数据
详细信息 恢复大量数据方法 恢复MySQL数据 恢复SQL Server数据 恢复PostgreSQL数据 恢复MariaDB数据 恢复少量数据方法 阿里云的 数据管理（DMS）提供的数据追踪功能可以逐条恢复数据，且会自动生成回滚语句，便于少量数据的恢复。...
数据治理
数据地图 为什么数据地图数据总览页存储量和存储趋势图相差较大？数据地图血缘展示延迟问题 数据地图新建表搜不到 当前表业务逻辑变更如何通知下游？哪些类型的Hive表支持在数据地图中预览？数据保护伞 数据保护伞为什么有时候查询脱敏有...
产品简介
开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...
冷热分层
Delta Lake是新型数据湖方案，推出了数据流入、数据组织管理、数据查询和数据流出等特性，同时提供了数据的ACID和CRUD操作。通过结合Delta Lake和上下游组件，您可以搭建出一个便捷、易用、安全的数据湖架构。在数据湖架构设计中，通常会...
什么是DataWorks
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
Catalog概述
本文为您介绍什么是Catalog（数据目录），以及如何使用Catalog管理和查询内外部数据。基本概念 内部数据：保存在StarRocks中的数据。外部数据：保存在外部数据源（例如Apache Hive、Apache Iceberg和Apache Hudi）中的数据。Catalog ...
自媒体：易撰
所属行业：自媒体 网站地址：易撰 客户介绍 长沙营智信息技术有限公司是专业的新媒体大数据服务商，其旗下知名品牌易撰，基于新媒体大数据挖掘技术及NLP算法分析，为各内容创客、广告主提供全面、科学、精准的大数据分析服务以及大数据架构...
常见问题
数据湖后端存储使用OSS，用户使用数据湖构建面向大数据分析和机器学习场景可以获得集中式权限管理和统一的元数据视图，更容易对接云上大数据和分析产品。什么情况下我需要使用数据湖构建？在云上有数据分析和机器学习需求，希望构建云上的...
设置数据时效
设置数据时效 请求路径和方法 请求路径 请求方法 描述/api/ttl POST 设置 TTL 请求内容 名称 类型 是否必需 描述 举例 val Integer 是 设置 ttl 的值，以秒为单位，大于等于1，小于等于2147483647（Integer.MAX_VALUE）高可用版本中允许...
配置任务常见错误码及排查方法
本文介绍了用户在使用控制台或OpenAPI配置任务时系统返回的错误码、出现报错的场景及解决方法。用户配置使用类错误码 错误码 报错场景 原因及解决方法 DTS.Msg.LXCreateOrderError 购买DTS实例时创建订单不成功。原因：未将UID添加至白名单...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
如何优化数据导入导出
导入导出工具介绍 PolarDB-X 常见的数据导出方法有：mysql-e命令行导出数据 musqldump工具导出数据 select into outfile语句导出数据（默认关闭）Batch Tool工具导出数据（PolarDB-X 配套的导入导出工具）PolarDB-X 常见的数据导入方法有：...
数据库管理常见问题
删除数据库的操作是在后台异步执行的，如果数据库较大，删除可能需要一定的时间。如果经过较长时间仍未删除成功，可能是因为存在MDL锁导致删除操作被阻塞或删除失败，排查方法请参考 查看DDL执行状态和MDL锁状态。集群存在某个数据库，为...
管理数据集
数据集是基于特定数据库和SQL查询生成，并且以二维表呈现的一种数据集合。本文介绍创建、编辑、删除数据集的方法。注意事项 数据分析后续所有的分析工作、仪表盘制作和大屏制作都是基于数据集进行的，因此在进行其他功能前，必须先创建数据...
- 产品推荐
- 这些文档可能帮助您