离线同步常见问题
目标端的数据类型定义的大小需要可以接收源端映射字段实际数据大小，源端是long、varchar、double等类型的数据，目的端均可用string、text等大范围类型接纳。脏数据报错不清晰时，需要复制出打印出的脏数据的一整条，观察其中的数据，和...
数据使用诊断
DataWorks的数据使用诊断，为您提供了对当前DataWorks工作空间的数据内容及数据隐私的安全保护能力，以及诊断相关安全问题的最佳实践及解决方案，帮助您快速建立数据使用时和使用后的基本安全体系。进入数据使用诊断 登录 DataWorks控制台...
自媒体：易撰
所属行业：自媒体 网站地址：易撰 客户介绍 长沙营智信息技术有限公司是专业的新媒体大数据服务商，其旗下知名品牌易撰，基于新媒体大数据挖掘技术及NLP算法分析，为各内容创客、广告主提供全面、科学、精准的大数据分析服务以及大数据架构...
SparkSQL自适应执行
SparkSQL自适应执行框架会在物理执行计划真正运行的过程中，动态的根据shuffle阶段shuffle write的实际数据大小，来调整是否可以用 BroadcastJoin来代替SortMergeJoin，提高运行效率。涉及参数如下。属性名称 默认值 备注 spark.sql....
数据迁移
本文为您介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将...MaxCompute处理业务数据和日志数据后，可以通过Quick BI快速地以可视化方式展现数据处理结果，详情请参见 基于MaxCompute的大数据BI分析。
管理数据树
查看已上传数据表详情，包括但不限于数据地图、数据量、数据表大小及项目引用情况。刷新数据库/文件夹/表 选择需要查看的层级，单击右上角的 图标，完成刷新操作。改变数据库/文件夹显示模式 选择需要查看的层级，单击右上角的 图标或 图标...
创建ClickHouse数据源
背景信息 如果您使用的是数据库ClickHouse，引入ClickHouse的业务数据至Dataphin中或将Dataphin数据导出至ClickHouse的场景中，您需要先完成ClickHouse数据源的创建。阿里云数据库ClickHouse的更多信息，请参见 什么是云数据库ClickHouse。...
影响查询性能的因素
背景信息 集群规格 AnalyticDB MySQL版 集群支持多种规格（更多详情，请参见 规格），不同集群规格的CPU核数、内存大小和数据存储介质等属性不同，处理子任务的能力也就不同，因此您需要结合业务查询特征来选择集群规格。例如，以Join或...
Delta Lake概述
Delta Lake以数据为中心，围绕数据流走向（数据从流入数据湖、数据组织管理和数据查询到流出数据湖）推出了一系列功能特性，协助您搭配第三方上下游工具，搭建快捷、易用和安全的数据湖。背景信息 通常的数据湖方案是选取大数据存储引擎...
JindoFS介绍和使用
JindoFS是基于阿里云对象存储OSS，为开源大数据生态构建的Hadoop兼容文件系统（Hadoop Compatible File System，HCFS）。JindoFS提供兼容对象存储的纯客户端模式（SDK）和缓存模式（Cache），以支持与优化Hadoop和Spark生态大数据计算对OSS...
重置画布大小
本文档介绍DataV移动端编辑器内重置画布大小的使用方法，您可以在流式布局画布宽度尺寸有变化后使用重置功能一键恢复到宽度默认值。操作步骤 登录 DataV控制台。在 工作台 页面，使用模板创建移动端看板 或者单击一个已有移动端可视化应用...
基于Delta lake的一站式数据湖构建与分析实战
数据湖作为一个集中化的数据存储仓库，支持的数据类型具有多样性，包括结构化、半结构化以及非结构化的数据，数据来源上包含数据库数据、binglog 增量数据、日志数据以及已有数仓上的存量数据等。数据湖能够将这些不同来源、不同格式的数据...
DQL操作常见问题
子查询 在执行MaxCompute SQL过程中，使用NOT IN后面接子查询，子查询返回的结果是上万级别的数据量，但当IN和NOT IN后面的子查询返回的是分区时，返回的数量上限为1000。在必须使用NOT IN的情况下，该如何实现此查询？交集、并集和补集 ...
名词解释
COMPACTION 〇 〇 Compaction（数据压缩）是一种数据管理技术，用于优化和减小数据库文件的大小，从而提高数据库性能。不同的存储引擎实现中存在不同的Compaction策略。INDEX 〇 ✖️ Index（索引）是一种数据结构，用于加快数据库中数据的...
阿里云流播放器
数据面板（默认模式）说明 组件数据面板默认是 默认模式，您可以单击切换数据面板右上角的 分析模式，即可在弹窗对话框内，确认将组件 转为分析模式并创建分析器，并单击 确认变更，使用DataV数据集提供的分析模式功能后，当前组件会转换成...
备份下载的常见问题
RDS实例 基本信息 页面显示的 存储空间 大小为所有数据、系统文件、备份数据等的总和。因此存储空间数据量不等于下载的备份文件数据量。说明 如需扩容或释放实例存储空间，请参见 存储空间的常见问题。MySQL自建数据库的备份文件如何恢复或...
备份下载的常见问题
RDS实例 基本信息 页面显示的 存储空间 大小为所有数据、系统文件、备份数据等的总和。因此存储空间数据量不等于下载的备份文件数据量。说明 如需扩容或释放实例存储空间，请参见 存储空间的常见问题。MySQL自建数据库的备份文件如何恢复或...
备份下载的常见问题
RDS实例 基本信息 页面显示的 存储空间 大小为所有数据、系统文件、备份数据等的总和。因此存储空间数据量不等于下载的备份文件数据量。说明 如需扩容或释放实例存储空间，请参见 存储空间的常见问题。MySQL自建数据库的备份文件如何恢复或...
数据建模：智能数据建模
智能数据建模是阿里云DataWorks自主研发的智能数据建模产品，沉淀了阿里巴巴十多年来数仓建模方法论的最佳实践，包含数仓规划、数据标准、维度建模及数据指标四大模块，帮助企业在搭建数据中台、数据集市建设过程中提升建模及逆向建模的...
配置DataHub输出组件
一次提交的数据量 为提高写出效率，数据集成会积累Buffer数据，待积累的数据大小达到一次提交的数据量大小（单位MB）时，批量提交到目的端。默认是1，即1 MB数据。高级配置 按需进行配置。支持以下参数：maxRetryCount：任务失败的最多重试...
配置DataHub输出组件
一次提交的数据量 为提高写出效率，数据集成会积累Buffer数据，待积累的数据大小达到一次提交的数据量大小（单位MB）时，批量提交到目的端。默认是1，即1 MB数据。高级配置 按需进行配置。支持以下参数：maxRetryCount：任务失败的最多重试...
概述
随着业务的快速发展，企业数据呈几何倍增长，数据量庞大、复杂、各类数据间标准不一致，往往会出现数据难以管理的现象。DataWorks智能数据建模服务，将无序、杂乱、繁琐、庞大且难以管理的数据，进行结构化有序的管理。使企业中的数据产生...
开通备份恢复
全量备份空间大小开通备份恢复功能后可在Lindorm管理控制台查看，查看方式：宽表引擎>备份恢复，在 全量备份 区域，查看 备份数据大小。增量备份空间大小=日志保留天数 x 每天增量LOG大小。例如实例写入的平均速度为1 MB/s，每天需要的增量...
实时同步能力说明
数据过滤：可以对数据进行规则过滤，例如过滤字段的大小等，符合规则的数据才会被保留。字符串替换：可以通过字符串替换节点替换字符串类型的字段。数据脱敏：可以对实时同步的单表数据进行脱敏，将脱敏后的数据输出至目标数据库。整库增量...
基本概念
概念 说明 地域 地域（Region）指的是用户所购买的云数据库MongoDB实例的服务器所处的地理位置。用户需要在开通云数据库MongoDB实例时指定地域，购买实例后暂不支持更改。在购买云数据库MongoDB实例时，需要搭配阿里云服务器ECS使用，云...
散点层
数据分级：根据数据中的 value 字段值大小划分（自然分割）成2~7个数据大小级别，解决 value 值相差太大导致的渲染问题。散点贴图：散点层贴图样式，可黏贴贴图URL链接获取。散点大小（从小到大）：单击右侧的 或 图标，添加或删除一个散点...
散点层
数据项配置 说明 数据源 组件的数据源中通过 代码编辑 或 可视化编辑 展示了组件所包含的数据字段。也可以修改 数据类型，灵活配置组件数据。数据映射 当您需要自定义图表字段配置时，可以在 数据映射 模块设置不同的字段映射内容，将这些...
Serverless 计费
Serverless读写计量单位以CU（Capacity Unit，能力单元）来计算，单行读操作返回数据大小大于4 KB，则消耗读CU为实际数据大小按4 KB整除向上取整。请求计费 Serverless读写计量单位以CU（Capacity Unit，能力单元）来计算，单行读操作返回...
数据格式描述文件
granularitySpec 聚合支持两种聚合方式：uniform和arbitrary，前者以一个固定的时间间隔聚合数据，后者尽量保证每个segments大小一致，时间间隔是不固定的。目前uniform是默认选项。键 格式 描述 是否必须 segmentGranularity 字符串 ...
数据分析整体趋势
大数据与数据库一体化：早期大数据技术以牺牲一定程度一致性为基础提供分布式能力，解决了传统单机数据库的扩展性不足问题，在MapReduce基础上提供了标准SQL接口，架构上也逐步采用了部分MPP数据库技术；另一方面，分布式数据库也快速发展...
备份费用
备份总大小 备份总大小=数据备份大小+日志备份大小 说明 在实例 基本信息 页 使用量统计 区域的 备份使用量 参数处查看。免费备份额度 存储类型 免费额度说明 说明 云盘 存储空间的200%在实例 基本信息 页 使用量统计 区域的 备份使用量 ...
导入概述
为了更好地满足各种不同的业务场景，StarRocks支持多种数据模型，StarRocks中存储的数据需要按照特定的模型进行组织。本文为您介绍数据导入的基本概念、原理、系统配置、不同导入方式的适用场景，以及一些最佳实践案例和常见问题。背景信息...
DataHub数据源
是 无 maxCommitSize 为提高写出效率，DataX会积累Buffer数据，待积累的数据大小达到 maxCommitSize 大小（单位Byte）时，批量提交到目的端。默认是1,048,576，即1 MB数据。另外datahub侧对于一次request请求写入的数据条数限制是10000条，...
导入概述
为了更好地满足各种不同的业务场景，StarRocks支持多种数据模型，StarRocks中存储的数据需要按照特定的模型进行组织。本文为您介绍数据导入的基本概念、原理、系统配置、不同导入方式的适用场景，以及一些最佳实践案例和常见问题。背景信息...
建立性能基准
您可以使用 describe 命令查看全表或表中某个分区占用物理存储的大小，查看表中某个分区的信息，详情请参见 DESC TABLE/VIEW。记录查询执行时间及预估费用 登录 DataWorks控制台，进入 数据开发 页面，创建 ODPS sql 节点。您可以在运行...
配置ClickHouse输出组件
批量插入字节大小：数据同步过程中每一次写入数据的字节数据量，默认字节大小为67108864，也就是64MB。批量条数：数据同步过程中每一次写入数据的行数，默认为65536。如果您同时配置了 批量插入字节大小 和 批量条数 两个参数，则数据同步...
建立性能基准
您可以使用 describe 命令查看全表或表中某个分区占用物理存储的大小。记录查询执行时间及预估费用 登录 DataWorks控制台，进入 数据开发 页面，创建 ODPS sql 节点。您可以在运行任务时或通过单击 图标直接通过图形页面查看预估费用。任务...
配置ClickHouse输出组件
批量插入字节大小：数据同步过程中每一次写入数据的字节数据量，默认字节大小为67108864，也就是64MB。批量条数：数据同步过程中每一次写入数据的行数，默认为65536。如果您同时配置了 批量插入字节大小 和 批量条数 两个参数，则数据同步...
散点层（线性渐变）
图表样式 散点层（线性渐变）是3D地球的子组件，支持独立的样式和数据配置，包括散点的大小、颜色、类型以及经纬度等，能够以散点的形式表现地理位置上的点数据信息。样式面板 搜索配置：单击 样式 面板右上角的搜索配置项图标，可在搜索...
表数据格式
数据的 近实时增量导入 可通过bucket数量水平扩展来支持高并发，因此需根据数据写入的流量以及表数据总存储大小来评估设置合理的bucket数量。Bucket数量过多，容易产生过多的小文件，影响数据读写效率和存储的稳定性，Bucket数量过少，则不...
- 产品推荐
- 这些文档可能帮助您