设置资产数据源
本文介绍DataV设置资产数据源的方法，以及 设置数据源 页面的内容，包括数据源、数据过滤器以及数据响应结果等。配置资产数据源 登录 DataV控制台。在 我的可视化 页面，单击您创建的可视化应用项目上方的 编辑 按钮。在画布编辑器页面，...
加工数据
本文为您介绍如何通过DataWorks加工采集至MaxCompute的数据，并获取清洗后的数据。前提条件 开始本文的操作前，请首先完成 准备数据 中的操作。新建表 进入 数据开发 页面。登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据...
数仓分层
在阿里巴巴的数据体系中，我们建议将数据仓库分为三层，自下而上为：数据引入层（ODS，Operation Data Store）、数据公共层（CDM，Common Data Model）和数据应用层（ADS，Application Data Service）。数据仓库的分层和各层级用途如下图所...
查看监控信息
在进行数据库日常维护或处理数据库故障时，查看数据库相关的性能指标是必不可少的步骤。RDS MySQL的标准监控提供了丰富的性能监控指标，以及强大的诊断能力，能够及时发现数据库的异常并提供相应的治理方案。并且提供了常见数据库问题场景...
数仓分层
在阿里巴巴的数据体系中，我们建议将数据仓库分为三层，自下而上为：数据引入层（ODS，Operation Data Store）、数据公共层（CDM，Common Data Model）和数据应用层（ADS，Application Data Service）。数据仓库的分层和各层级用途如下图所...
生态集成
云原生数据仓库AnalyticDB PostgreSQL版 具备完善和开放的生态系统，支持无缝对接业界以及阿里云生态的数据管理工具，BI报表可视化工具，ETL工具，数据迁移工具，同时可以与业界流行的流式处理系统，日志类系统，大数据类系统，传统数仓及...
PyODPS节点实现避免将数据下载到本地
当数据量大时，建议使用PyODPS DataFrame（从MaxCompute表创建）和MaxCompute SQL来处理数据，以替代本地数据处理这种比较低效的方式。示例代码 将一份JSON串数据按Key-Value对展开成一行，示例代码如下。本地测试，通过 head()方法返回...
热点行优化
具体方案如下：串行处理变流水线处理 为了提升数据库系统的性能，最直接的方法是使用并行处理，但是对同一热点行的更新操作很难做到完全并行，PolarDB 创新性地使用了流水线处理方式，最大限度地将热点行更新操作并行化。热点行更新操作所...
计费说明-半托管
智能研发版定价 数据处理单元规格 定价（CNY/年）500 298,000 1000 397,800 1500 497,600 2000 597,400 2500 697,200 3000 797,000 数据处理单元统计规则：数据处理单元总量=（数据同步任务数+数据集成任务数）/3+计算任务数（离线和实时）...
数据归档功能介绍及开启方法
本文介绍了冷数据归档的方法。功能介绍 当AUTO模式数据库下的 TTL表，产生了到期数据后，如果需要将到期的冷数据进行归档，可开启冷数据归档功能，创建关联的冷数据归档表。创建完成后，在 PolarDB-X 实例的归档执行时间（即可维护窗口时间...
数据开发概述
数据开发包括编码研发和规范建模。编码研发用于构建计算任务，例如创建SQL代码任务、Shell任务、Python任务、MR任务和Spark任务；规范建模用于构建逻辑化的数据模型。前提条件 若需进行实时开发，需已购买实时研发增值服务。详情请参见 ...
产品概述
阿里云流数据处理平台数据总线DataHub是流式数据（Streaming Data）的处理平台，提供对流式数据的发布(Publish)，订阅（Subscribe）和分发功能，让您可以轻松构建基于流式数据的分析和应用。数据总线 DataHub服务可以对各种移动设备，应用...
数据处理
本文介绍在蓝图编辑器中，配置数据处理类节点的方法。页面导航节点 页面导航 节点，可用于实现页面跳转的功能，支持新开浏览器标签页跳转或在当前标签页内跳转，并支持页面跳转时带入自定义参数。使用场景：页面导航 节点在跳转新页面时...
使用Stage和Task详情分析查询
其中，（累积耗时/子任务并发度）表示每个线程实际处理数据平均耗时，开始结束时间差包含实际处理数据的时间、子任务排队耗时、网络等待延迟等。详细的计算方法，请参见 Task耗时与并发度计算示例。说明 开始结束时间差越大，计算时间占比...
数据开发概述
数据处理：通过编写代码的方式构建复杂的数据模型、构建同步任务和构建不同类型的代码任务。即席查询：即主题式查询，面向业务主题的数据查询。屏蔽了物理模型中技术特性带来的影响，基于逻辑模型从业务视角出发对外提供查询服务。双开发...
列存索引技术架构介绍
在SQL执行器层，重写了一套面向列存的执行器引擎框架（Column-oriented），该执行器框架充分利用列式存储的优势，如以4096行的一个Batch为单位访问存储层的数据，使用SIMD指令提升CPU单核心处理数据的吞吐，所有关键算子均支持并行执行。...
Hive数据脱敏
Ranger支持对Hive数据的脱敏处理（Data Masking），即可以对Select的返回结果脱敏，以屏蔽敏感信息。背景信息 该功能只针对HiveServer2的场景（例如，Beeline、JDBC和Hue等途径执行的Select语句）。操作步骤 说明 本文Ranger截图以2.1.0...
外部表概述
外部表示例 您可以通过以下示例，深入了解通过MaxCompute外部表功能处理各种非结构化数据的方法：访问OSS和TableStore（OTS）非结构化数据，请参见 访问OSS非结构化数据 和 访问OTS非结构化数据。外部表访问OSS的账号，在RAM中自定义授权...
SQL错误码（ODPS-01CCCCX）
处理方法：修改类型转换机制。更多数据类型转换信息，请参见 数据类型转换。ODPS-0123105:Job got killed 模块：PROCESSOR。严重等级：5。触发条件：作业被中止。处理方法：您可以通过MaxCompute客户端执行 status;命令确认实例状态。ODPS-...
DML无锁变更概览
此类问题通常可通过分批执行的方法解决，但是仍存在风险，例如：研发写程序分批处理：分批方式不当，例如直接用 LIMIT 进行分批，可能仍会锁表。分批执行的频率没有控制好，会造成主备延迟过大。DBA提取目标数据手动拆分：人工拆分非常繁琐...
数据组织优化
另外，对于超过一定时间跨度的文件也不会进行合并，因为将时间跨度太大的数据合并在一起可能导致在进行Time travel或者增量查询时读取大量不属于此次查询时间范围的历史数据，进而造成不必要的读放大问题。由于数据是按照 BucketIndex 来...
数据标准
数据是由特定的环境产生的，这些环境因素包括生产者、时间、系统等，从而造成了同一个语义的数据，有多种不同的定义方法，给后期进行数据汇集和整合带来障碍。因此，数据处理的前奏就是数据标准化，数据标准作为一个统一的数据共识，在标准...
术语表
M MapReduce MapReduce是处理数据的一种编程模型，通常用于大规模数据集的并行运算。您可以使用MapReduce提供的接口（Java API）编写MapReduce程序，来处理MaxCompute中的数据。编程思想是将数据的处理方式分为Map（映射）和Reduce（规约）...
RestAPI（HTTP形式）数据源
否 无 dirtyData 当从指定的column json路径中找不到数据时的处理方式。dirty：当一条数据解析时遇到column找不时这条数据置为脏数据。null：当一条数据解析时遇到column找不到时，这个column设置为null。是 dirty requestTimes 从RESTful...
生成测试数据
背景信息 OceanBase 开发者中心（OceanBase Developer Center，ODC）提供模拟数据功能供用户在测试数据库性能或者验证功能等需要大量模拟数据的场景下，能够快速根据表中的字段类型生成数据。注意事项 单次模拟数据上限为 1 亿行。拥有检查...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
Db2 for LUW同步至RDS MySQL
目标已存在表的处理模式 预检查并报错拦截：检查目标数据库中是否有同名的表。如果目标数据库中没有同名的表，则通过该检查项目；如果目标数据库中有同名的表，则在预检查阶段提示错误，数据同步任务不会被启动。说明 如果目标库中同名的表...
Db2 for LUW迁移至RDS MySQL
目标已存在表的处理模式 预检查并报错拦截：检查目标数据库中是否有同名的表。如果目标数据库中没有同名的表，则通过该检查项目；如果目标数据库中有同名的表，则在预检查阶段提示错误，数据迁移任务不会被启动。说明 如果目标库中同名的表...
级联选择器
导入数据接口 按组件绘制格式处理数据后，导入组件，重新绘制。不需要重新请求服务端数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 数据响应结果 区域。设置选中的条目 表示设置当前级联选择器选中的条目，如['...
Logview诊断实践
比如1G的数据经过处理，变成了1T，在一个Instance下处理1T的数据，运行效率肯定会大大降低。作业运行完成后输入输出数据量体现在Task的 I/ORecord 和 I/OBytes 这两项,如下图所示：如果作业在Join阶段长时间不结束，可以选择几个Running...
X-Engine简介
造成这种现象的原因是近年来我们所依赖的硬件体系发生了巨大的变化，例如多核（众核）CPU、新的处理器架构（Cache/NUMA）、各种异构计算设备（GPU/FPGA）等，而架构在这些硬件之上的数据库软件却没有太大的改变，例如使用B-Tree索引的固定...
区域热力层（v3.x版本）
受控模式 勾选复选框，组件初始化状态下不请求数据，仅通过全局变量或蓝图编辑器配置的方法发起请求数据；去勾选复选框，可以使用自动更新请求数据。默认为去勾选状态。自动更新请求 勾选复选框，可以手动输入轮询的时间频次设置动态轮询。...
Hadoop DistCp介绍
Hadoop DistCp（分布式复制）是一个用于大型集群间或集群内数据复制的工具，通过MapReduce实现复制过程中数据的分发、错误处理、恢复及报告。本文为您介绍Hadoop DistCp与Jindo DistCp的区别、Hadoop DistCp使用方法以及常见问题。说明 ...
区域热力层（v2.x版本）
导入地理边界geojson数据接口 按组件绘制格式处理数据后，导入组件，重新绘制。不需要重新请求服务端数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 数据响应结果 区域。导入热力值数据接口 按组件绘制格式处理数据后...
数据导入性能优化
单进程无法完全利用系统资源，且一般客户端需要处理数据、攒批等操作，难以跟上数据库的导入速度，通过多并发导入可以加快导入速度。导入并发受攒批、数据源、客户端机器负载等影响，没有最合适的数值，建议通过测试逐步计算合适的并发能力...
数据导入性能优化
单进程无法完全利用系统资源，且一般客户端需要处理数据、攒批等操作，难以跟上数据库的导入速度，通过多并发导入可以加快导入速度。导入并发受攒批、数据源、客户端机器负载等影响，没有最合适的数值，建议通过测试逐步计算合适的并发能力...
调优集群性能
您可以通过 一键诊断 功能来定位存在问题的查询：Bad SQL检测结果中，高耗时的SQL、数据读取量大的SQL、Stage个数多的SQL、最耗CPU的SQL，都可能导致集群的CPU使用率增高，需要根据自诊断结果或者执行计划进行进一步的分析。异常Pattern...
发现并处理大Key和热Key
优化大Key与热Key 类别 处理方法 大Key 对大Key进行拆分 例如将含有数万成员的一个HASH Key拆分为多个HASH Key，并确保每个Key的成员数量在合理范围。在 Tair 集群架构中，拆分大Key能对数据分片间的内存平衡起到显著作用。对大Key进行清理...
数据导入概览
使用DataWorks数据集成同步数据到GDB DataWorks 是阿里云上的一站式大数据智能云研发平台，其中数据集成服务支持导出数据到GDB，您也可以使用平台完成数据计算、筛选、转换等处理再同步到GDB。DataWorks的GDB数据源底层由GdbWriter插件提供...
发现并处理Redis的大Key和热Key
优化大Key与热Key 类别 处理方法 大Key 对大Key进行拆分 例如将含有数万成员的一个HASH Key拆分为多个HASH Key，并确保每个Key的成员数量在合理范围。在Redis集群架构中，拆分大Key能对数据分片间的内存平衡起到显著作用。对大Key进行清理 ...
- 产品推荐
- 这些文档可能帮助您