大数据条件-大数据条件文档介绍内容-阿里云

升级实例配置

前提条件数据迁移任务在升级配置前，须处于迁移中、暂停中或迁移失败状态。升级实例配置的操作，仅适用于数据迁移任务和数据同步作业。数据订阅通道无需升级实例配置。注意事项实例只能升级配置，不能降级配置。升级生效期间增量数据...

功能特性

设置过滤条件数据类型映射在进行异构数据库之间的数据同步或迁移时，会在结构同步或迁移阶段进行数据类型映射，即将源库中的数据类型转为目标库支持的数据类型。结构初始化涉及的数据类型映射关系异构数据库间的数据类型映射关系数据...

功能特性

审计日志权限管理权限管理为确保MaxCompute项目数据的安全性，项目所有者或者具备授权权限的用户需要对项目内成员的权限进行合理管控，确保权限不会过大也不会过小。权限管理管理&运维 MaxCompute提供用户可视化运维、管理功能，方便...

同步时源库为Db2 for LUW的注意事项及限制

说明如为增量同步任务，DTS要求源数据库的数据日志保存24小时以上，如为全量同步和增量同步任务，DTS要求源数据库的数据日志至少保留7天以上（您可在全量同步完成后将数据日志保存时间设置为24小时以上），否则DTS可能因无法获取数据日志...

ClickHouse数据源

ClickHouse数据源为您提供读取和写入ClickHouse双向通道的功能，本文为您介绍DataWorks的ClickHouse数据同步的能力支持情况。支持的版本支持阿里云ClickHouse的20.8、21.8内核版本。您需要确认驱动和您的ClickHouse服务之间的兼容能力，...

PolarDB-X 2.0数据源

PolarDB-X 2.0数据源为您提供读取和写入PolarDB-X 2.0的双向通道，本文为您介绍DataWorks的PolarDB-X 2.0数据同步的能力支持情况。使用限制 PolarDB-X 2.0数据源仅支持使用独享数据集成资源组。支持的版本离线读写：支持PolarDB-X 2.0，...

DataV读取数据源超时

解决方案执行以下操作，通过优化查询时间的方式进行解决：使用SQL查询的业务数据表数量太大针对查询条件所使用的字段添加索引，减少扫描行数。在数据库中增加定时任务，定时计算所需要的业务指标并更新结果表。DataV组件直接查询结果表的...

授权信息

资源类型资源ARN Quota acs:odps:{#regionId}:{#accountId}:quota/{#NickName} Project acs:odps:{#regionId}:{#accountId}:projects/{#ProjectName} 条件（Condition）下表是云原生大数据计算服务 MaxCompute（MaxCompute）定义的产品级...

Common错误码（ODPS-00CCCCX）

本文为您介绍Common错误码列表、触发条件及处理方法。该类型错误的错误码编码格式如下。ODPS-00CCCCX:通用描述-上下文相关说明 Common错误包含系统错误、用户非法请求和无权限三种。三种错误类型都有对应的 CCCC 编码段，系统异常错误以1...

典型慢查询

导致查询磁盘I/O消耗较大的原因通常有如下几种：过滤条件的数据筛选率较低，导致索引的使用效率不高，需要读取的索引量较大。过滤条件没有下推，导致对源表进行了全表扫描。过滤条件下推，但是过滤条件设置的范围较大，仍然有大量数据被...

词云

条件：数据条件系列样式说明。数据条件系列：单击右侧的或图标，添加或删除一个数据条件系列。单击或图标配置多个数据条件系列的排列样式。单击图标，即可复制当前选中数据条件系列配置内容并新增一个同样配置的数据条件系列。具体...

MaxCompute数据源

是无 table 读取数据表的表名称（大小写不敏感）。是无 partition 读取的数据所在的分区信息。ODPS的分区配置支持linux Shell通配符，*表示0个或多个字符，?表示任意一个字符。默认情况下，读取的分区必须存在，如果分区不存在则运行的...

互联网、电商行业离线大数据分析

概述电商网站的销售数据通过大数据进行分析后，可以在大屏幕展示销售指标、客户指标、销售排名和订单地区分布等业务指标数据。DataV大屏支持可视化动态展示销售数据，触控大屏支持您自助查询数据，极大地提高数据的可读性。应用场景电商...

数据仓库研发规范概述

在大数据时代，规范地进行数据资产管理已成为推动互联网、大数据、人工智能和实体经济深度融合的必要条件。贴近业务属性、兼顾研发各阶段要点的研发规范，可以切实提高研发效率，保障数据研发工作有条不紊地运作。而不完善的研发流程，会...

词云

条件：数据条件系列样式说明。数据条件系列：单击右侧的或图标，添加或删除一个条件样式。单击或图标配置多个条件样式的排列样式。单击图标，即可复制当前选中条件样式配置内容并新增一个同样配置的条件样式。具体配置请参见条件树...

数据归档至DBS内置OSS

本文介绍如何将大表数据归档至DBS内置OSS中。前提条件支持如下类型的源数据库：MySQL类型：RDS MySQL、PolarDB MySQL版。PolarDB PostgreSQL版。PolarDB分布式版。说明 MySQL数据库账号必须具有REPLICATION CLIENT权限。您的系统角色需要...

最佳实践

前提条件 RDS MySQL实例的大版本为MySQL 5.7，且内核小版本必须大于或等于20231215。说明升级内核小版，请参见升级内核小版本。注意事项请妥善保存您设置的主密钥 MEK。Java版本需要在1.8及以上。说明本文中使用的Maven版本为 3.9.5，...

准备环境

为保证您可以顺利完成本次实验，请您首先确保自己云账号已开通大数据计算服务MaxCompute、数据工场DataWorks和人工智能平台 PAI。前提条件注册阿里云账号，详情请参见注册阿里云账号。实名认证，详情请参见个人实名认证背景信息本次...

多表连接

警告对数据量比较大的数据表进行笛卡尔连接（不带连接条件的交叉连接），会因数据膨胀造成结果数据量巨大，影响节点的执行耗时，并占用较多的存储空间。连接条件连接条件指定了两张数据表之间使用哪些字段进行连接，当数据表中某条数据...

Sensors Data（神策）数据源

BigInt2Date 将BigInt大整数类型的数据转换为Date时间类型。示例"dataConverters":[{"type":"BigInt2Date"}]无 Str2Int 将String字符串类型的数据转换为Int整数类型。示例"dataConverters":[{"type":"Str2Int"}]无 Str2Double 将String字符...

MaxFrame概述

您可以用更熟悉、高效、便捷的方式利用MaxCompute的海量计算资源及数据进行大规模数据处理、可视化数据探索分析以及科学计算、ML/AI开发等工作。本文为您介绍MaxFrame背景信息、功能介绍及使用场景。版本说明当前MaxCompute MaxFrame功能...

代码智能推荐

前提条件已登录DataV控制台已进入画布编辑器页面操作步骤在当前数据看板中随机添加一个组件（例如：柱状图）。单击右侧配置面板中的数据源。在数据源配置面板中，打开过滤器，单击智能推荐。在输入框中输入数据处理条件后，单击 ...

查看敏感数据识别结果

仅支持在结构化数据、半结构化数据、非结构化数据或 大数据 分类下分别选择一个或多个数据类型，不支持跨分类同时选择多个数据类型。如果您未选中任意数据类型，数据安全中心默认展示所有数据类型下的敏感数据识别结果。数据模板：在 ...

Oracle数据源

由于主备数据同步存在一定的时间差，在网络延迟等特定情况下，会导致备库同步恢复的数据与主库有较大差别，从备库同步的数据不是一份当前时间的完整镜像。一致性约束 Oracle在数据存储划分中属于RDBMS系统，对外可以提供强一致性数据查询...

PostgreSQL数据源

否无 fetchSize 该配置项定义了插件和数据库服务器端每次批量数据获取条数，该值决定了数据集成和服务器端的网络交互次数，能够较大地提升数据抽取性能。说明 fetchSize 值过大（>2048）可能造成数据同步进程OOM。否 512 PostgreSQL ...

风险识别管理（新版）

规则项>导出方式取值包括：全部导出方式 Tunnel下载表访问基本信息>规则类型取值包括：数据访问风险数据导出风险数据操作风险其他 10 规则生效的表规则项>表名规则定义>条件设置区域，选择条件选择数据位置时，所配置的表名...

查询备份数据

前提条件 RDS实例需满足以下条件：MySQL数据库版本：8.0（包含Serverless实例）、5.7 存储类型：云盘版说明您可以前往实例基本信息页面查看以上信息。实例规格为通用规格。实例所在地域为华东1（杭州）、华北2（上海）、华北2（北京）、...

Transaction Table2.0概述

现状分析当前典型的数据处理业务场景中，对于时效性要求低的大规模数据全量批处理的单一场景，直接使用MaxCompute足以很好的满足业务需求，对于时效性要求很高的秒级实时数据处理或者流处理，则需要使用实时系统或流系统来满足需求。...

ListDoctorHiveTables-批量获取Hive表分析结果

温数据指的是 7 日内没有访问的数据，但是 30 日以内有访问的数据。coldDataSize:冷数据的数据量大小。冷数据指的是 30 日内没有访问的数据，但是 90 日以内有访问的数据。freezeDataSize:极冷数据数的据量大小。极冷数据指的是 90 日以内...

升级数据库大版本

本文介绍云数据库MongoDB支持升级的数据库大版本以及如何升级数据库大版本。注意事项升级分片集群实例的数据库大版本时，实例的协议类型需为 MongoDB协议。升级采用轮转升级的方式进行，升级过程中会自动对实例进行2~3次重启，请在业务低...

动态文件剪枝

上述查询的逻辑执行计划如下图所示，过滤条件被往下推，很大程度减少了扫描的数据量。而对于join条件来说，比如常见的星形表连接，join的过滤条件在查询编译阶段对事实表是未知的，因此，就需要一种和where查询条件不一样的方式来进行文件...

后续指引

介绍：数据迁移实践：数据迁移最佳实践常见问题：数据上传下载常见问题大规模数据迁移 MaxCompute提供MMA（MaxCompute Migration Assist）迁移工具支撑大规模数据迁移。开发与分析数据类型 MaxCompute支持三种数据类型版本，为您介绍各...

场景：配置增量数据离线同步任务

离线同步任务支持您通过配置类似的数据过滤功能来决定同步全量数据还是增量数据，配置过滤条件时，将只同步满足过滤条件的数据。同时，过滤条件可以结合调度参数使用，实现过滤条件随任务调度时间的动态变化，进而实现增量数据的同步。该...

DB2数据源

DB2数据源作为数据中枢，为您提供读取和写入DB2数据库的双向通道，能够快速解决海量数据的计算问题。本文为您介绍DataWorks的DB2数据同步的能力支持情况。支持的版本 DB2 Reader和DB2 Writer使用的DB2驱动版本为 IBM Data Server Driver ...

数据分析：即时快速分析

功能概述数据分析支持基于个人视角的数据上传、公共数据集、表搜索与收藏、在线SQL取数、SQL文件共享、SQL查询结果下载及用电子表格进行大屏幕数据查看等产品功能。适用场景适合更多非专业数据开发人员，如数据分析、产品、运营等工作...

数据治理

数据地图为什么数据地图数据总览页存储量和存储趋势图相差较大？数据地图血缘展示延迟问题数据地图新建表搜不到当前表业务逻辑变更如何通知下游？哪些类型的Hive表支持在数据地图中预览？数据保护伞数据保护伞为什么有时候查询脱敏有...

风险识别管理（旧版）

规则项>导出方式取值包括：全部导出方式 Tunnel下载表访问基本信息>规则类型取值包括：数据访问风险数据导出风险数据操作风险其他 10 规则生效的表规则项>表名规则定义>条件设置区域，选择条件选择数据位置时，所配置的表名...

导入概述

如果单表的数据量特别大，或者需要做为全局数据字典来精确去重可以考虑使用 Spark Load。实时数据导入：日志数据和业务数据库的Binlog同步到Kafka后，优先推荐通过 Routine Load 导入StarRocks。如果导入过程中有复杂的多表关联和ETL预处理...

算子级别诊断结果

聚合算子聚合度低过滤条件没有下推 Join存在数据膨胀 Join的右表过大存在Cross Join 扫描算子读取字段个数较多表扫描数据量倾斜索引不高效聚合算子聚合度低问题聚合算子的聚合度一般指GROUP BY分组聚合操作中的输入数据量和输出数据...

SQL Server数据源

由于主备数据同步存在一定的时间差，特别在于某些特定情况，例如网络延迟等问题，导致备库同步恢复的数据与主库有较大差别，从备库同步的数据不是一份当前时间的完整镜像。一致性约束 SQL Server在数据存储划分中属于RDBMS系统，对外可以...

大数据条件

新品推荐