与Spark集成分析
DLA Ganos是基于云原生数据湖分析（Data Lake Analytics，DLA）系统设计开发的，面向时空大数据存储与计算的数据引擎产品。基于DLA无服务器化（Serverless）数据湖分析服务与内置的Spark计算引擎，DLA Ganos提供了不同级别的数据分析模型，...
OGG for Oracle介绍
目前使用DataHub插件采集Oracle数据支持两种模式，一种是基于Oracle GoldenGate Application Adapters，另一种基于Oracle GoldenGate for Big Data，两种模式的区别是目标端使用的进程不同。一、简介 目前使用DataHub插件采集Oracle数据...
Python
本文介绍如何在Python中通过MySQLdb的module连接 AnalyticDB MySQL 集群。usr/bin/python#-*-coding:UTF-8-*-import MySQLdb#打开数据库连接。host是AnalyticDB MySQL集群的URL...print"Database version:%s"%data#关闭数据库连接。db.close()
常见问题
ClickHouse每次写入都会生成一个data part，如果每次写入一条或者少量的数据，那会造成ClickHouse内部有大量的data part（会给merge和查询造成很大的负担）。为了防止出现大量的data part，ClickHouse内部做了很多限制，这就是too many ...
Data Warehouse的创建
专业版CDP支持使用数据服务Data Warehouse，本文为您介绍如何在Data Warehouse服务中创建虚拟数仓，以管理、分析和操作Base集群中的数据。前提条件 由于Data Service集群的Management Console部署在内网中，因此需要通过SSH隧道访问。隧道...
压缩测试
本文介绍 云原生多模数据库 Lindorm 在不同场景下与开源HBase、开源MySQL和开源MongoDB之间压缩能力的对比结果。背景信息 Lindorm除多模超融合、开放兼容和云原生弹性等能力外，还具备了高效的数据压缩能力。Lindorm不仅支持深度优化的ZSTD...
技术发展趋势
规模爆炸性增长 随着8K、5G、IoT、大数据、AI等系列技术的发展，数据量迎来了爆发式增长。IDC在《Data Age 2025》的报告中预测，从2018年到2025年，全球数据将从33ZB急速增长到175ZB，比2016年产生的数据量增加了十倍。这表明注重数据价值...
梯形柱状图
{ x:'内蒙古' } 参考数据示例 {"data":{},"options":{} } 取消高亮 data：需要取消高亮的数据项，当 data 字段缺省时，取消全部高亮数据。{ x:'内蒙古' } 参考数据示例 {"data":{},"options":{} } 清空组件 清空组件数据，不需要参数。移动...
分组柱状图
图表样式 分组柱状图是柱状图的一种，支持根据数据类目自动分组展示，能够更加清晰智能地展示各类别之间和各类别内部的数据差异，但在数据看板中所占空间较大。样式面板 搜索配置：单击 样式 面板右上角的搜索配置项图标，可在搜索配置面板...
水平胶囊柱状图
{ x:'内蒙古' } 参考数据示例 {"data":{},"options":{} } 取消高亮 data：需要取消高亮的数据项，当 data 字段缺省时，取消全部高亮数据。{ x:'内蒙古' } 参考数据示例 {"data":{},"options":{} } 清空组件 清空组件数据，不需要参数。移动...
双轴折线图
{ x:'2010/01/01 00:00:00' } 参考数据示例 {"data":{},"options":{} } 取消高亮 data：需要取消高亮的数据项，当 data 字段缺省时，取消全部高亮数据。{ x:'2010/01/01 00:00:00' } 参考数据示例 {"data":{},"options":{} } 清空组件 清空...
斑马柱状图
{ x:'内蒙古' } 参考数据示例 {"data":{},"options":{} } 取消高亮 data：需要取消高亮的数据项，当 data 字段缺省时，取消全部高亮数据 { x:'内蒙古' } 参考数据示例 {"data":{},"options":{} } 清空组件 清空组件数据，不需要参数。...
区域翻牌器
{ x:'2010/01/01 00:00:00' } 参考数据示例 {"data":{},"options":{} } 取消高亮 data：需要取消高亮的数据项，当 data 字段缺省时，取消全部高亮数据。{ x:'2010/01/01 00:00:00' } 参考数据示例 {"data":{},"options":{} } 清空组件 清空...
免费体验DMS Data Copilot智能助手
DMS Data Copilot是DMS基于阿里云大模型构建的数据智能助手。其结合了DMS熟练的数据管理、数据使用能力，可帮助开发、运维、产品、运营、分析师和数据库管理员，更高效、规范地使用和管理数据。目前已经具备 NL2SQL、SQL注释、SQL纠错、SQL...
功能介绍
本文介绍通过Lindorm Streams实现数据订阅功能，数据订阅功能将云数据库HBase增强版（云原生多模数据库Lindorm）表格的增量数据推送至下游消息队列Kafka，您可以根据自身业务需求自由消费增量数据，搭建或实现多种业务场景。推送流程 数据...
产品架构
EMR自研能力 为让开源大数据组件和服务更好的运行在阿里云技术设施上，EMR自研了如下组件：数据应用平台，提供交互式开发、作业提交、作业调试和工作流一站式数据开发体验，详情请参见 EMR Studio概述。Shuffle Service是EMR在优化计算引擎...
01创建数据字典并物理化
数据字典帮助平台管理者和数据管理者管控治理后数据的一致性和数据质量，创建并维护逻辑表中使用的数据字典，方便数据元引用数据字典来规范数据元的值域范围，保证关联了字段标准的表及字段可以自动设置数据质量规则，规范数据质量，本章节...
表删除，更新和合并
data/events/").as("events").merge(updatesDF.as("updates"),"events.eventId=updates.eventId").whenMatched.updateExpr(Map("data"->"updates.data")).whenNotMatched.insertExpr(Map("date"->"updates.date","eventId"->"updates....
MySQL整库离线同步到OSS
本文示例以MySQL为源端，OSS为目标端，为您介绍如何将MySQL整个数据库的数据离线同步到OSS。使用限制 仅支持使用独享数据集成资源组。操作步骤 步骤一：创建同步任务。步骤二：配置同步任务。步骤三：运行并查看任务状态。前提条件 已购买...
什么是阿里云Cloudera CDP
企业数据云平台Cloudera Data Platform（简称阿里云CDP），是阿里云和Cloudera联合打造的阿里云上的大数据平台。Cloudera CDP企业数据云平台 Cloudera企业数据云是社区版CDH的全新商业化升级产品，是阿里云和Cloudera联合打造阿里云上的大...
API结果过滤器
自定义逻辑的js函数脚本示例：function filter(response){/获取返回结果data中第一组数据 var data=response.data[0];拼接证件号码和客户名称后返回结果 return data.zzhm+":"+data.khmc;} 使用上述脚本执行转换的结果：设置完成后过滤器...
MaxFrame概述
您可以用更熟悉、高效、便捷的方式利用MaxCompute的海量计算资源及数据进行大规模数据处理、可视化数据探索分析以及科学计算、ML/AI开发等工作。本文为您介绍MaxFrame背景信息、功能介绍及使用场景。版本说明 当前MaxCompute MaxFrame功能...
概览
AnalyticDB PostgreSQL版 提供多种数据迁移方案，可满足不同的数据同步或迁移的业务需求，您可以在不影响业务的情况下，平滑地与各种类型的数据库实例进行迁移或数据同步。迁移数据到AnalyticDB PostgreSQL版 迁移类型 文档 简介 是否支持...
GetDataCorrectOrderDetail-获取数据变更工单详细信息
获取数据变更工单详细信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素...
01新建模型目录
DWD：全称Data Warehouse Detail，明细数据层，该层数据和源数据基本保持一致，保存着最细粒度的数据，一般存放所有的明细数据，是所有后期分析的数据基础。具有数据量大，查询计算较慢的特点。DWS：全称Data Warehouse Summary，汇总数据...
Kafka集群的数据存储格式
DTS支持选择迁移或同步到Kafka集群的数据存储格式，本文为您介绍数据格式的定义说明，方便您根据定义解析数据。数据存储格式 DTS支持将写入至Kafka集群的数据存储为如下三种格式：DTS Avro：一种数据序列化格式，可以将数据结构或对象转化...
Kafka集群的数据存储格式
DTS支持选择迁移或同步到Kafka集群的数据存储格式，本文为您介绍数据格式的定义说明，方便您根据定义解析数据。数据存储格式 DTS支持将写入至Kafka集群的数据存储为如下三种格式：DTS Avro：一种数据序列化格式，可以将数据结构或对象转化...
BulkLoad数据导入
准备数据 3.1 SSTable数据格式 按data/${keyspace}/${table} 格式组织目录，将SSTable数据放入目录，如下示例 ls/tmp/quote/historical_prices/md-1-big-CompressionInfo.db md-1-big-Data.db md-1-big-Digest.crc32 md-1-big-Filter.db md...
蓝图编辑器常见案例教学
翻牌器A序列执行节点处理方法：翻牌器B序列执行节点处理方法：说明 数字翻牌器A、B当数据接口请求完成时，通过序列执行第一个节点分别保存页面临时变量 data_a 和 data_b。第二个节点的处理方法实现将当前数字翻牌器请求到的数据与另外一份...
数据模型概述
数据模型（Data Model）是数据特征的抽象，它从抽象层次上描述了系统的静态特征、动态行为和约束条件，为数据库系统的信息表示与操作提供一个抽象的框架。DDM目前支持逻辑模型和物理模型建模，其中物理模型又分为关系型数据模型和非关系型...
迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle...
本文为您介绍如何使用数据传输迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle 租户。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输将主动...
ListDataServiceApiTest
列出数据服务API测试记录，只能查询最近一个月数据 调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action ...
资产全景及目录概述
整体概述 Dataphin的数据资产功能，基于数据资产管理的规范及方法论，帮助您对数据资产进行盘点评估：支持自动化提取分析元数据，可视化构建数据资产大图，便于管理者发现与了解数据资产价值。支持对数据生产中的计算、存储、安全、应用等...
资产全景及目录概述
整体概述 Dataphin的数据资产功能，基于数据资产管理的规范及方法论，帮助您对数据资产进行盘点评估：支持自动化提取分析元数据，可视化构建数据资产大图，便于管理者发现与了解数据资产价值。支持对数据生产中的计算、存储、安全、应用等...
从自建Oracle迁移至云原生数据仓库AnalyticDB ...
数据传输服务DTS（Data Transmission Service）支持将自建Oracle迁移至云原生数据仓库AnalyticDB PostgreSQL，帮助您构建实时数仓。前提条件 自建Oracle数据库的版本为9i、10g、11g、12c、18c或19c版本。自建Oracle数据库已开启归档模式...
Cassandra
云数据库Cassandra是基于开源Apache Cassandra，融合阿里云数据库DBaaS能力的分布式NoSQL数据库。本文主要介绍如何通过DLA Serverless Spark访问云数据库Cassandra。前提条件 已经开通对象存储OSS（Object Storage Service）服务。具体操作...
LogStash插件
Logstash插件 Logstash采集工具 Logstash是一种分布式日志收集框架，非常简洁强大，经常与ElasticSearch，Kibana配置，组成著名的ELK技术栈，非常适合用来做日志数据的分析。阿里云实时计算为了方便用户将更多数据采集进入DataHub，提供了...
使用LOAD DATA语句导入数据
本文介绍在 PolarDB-X 中使用load data进行数据导入的相关限制和注意事项。注意事项 使用load data进行数据导入时，load data语句并非一个事务，因此各种原因（如数据库宕机等）可能导致部分数据插入，剩余部分未插入。客户端需要开启 ...
元数据仓库共享模型（Hadoop）
表名称 表中文名称 data_share_finish 基础共享模型通信表 data_security_finish 数据安全模块共享模型通信表 data_service_finish 数据服务模块共享模型通信表 data_quality_finish 数据质量模块共享模型通信表 data_standard_finish 数据...
元数据仓库共享模型（MaxCompute）
表名称 表中文名称 data_share_finish 基础共享模型通信表 data_security_finish 数据安全模块共享模型通信表 data_service_finish 数据服务模块共享模型通信表 data_quality_finish 数据质量模块共享模型通信表 data_standard_finish 数据...
- 产品推荐
- 这些文档可能帮助您