迁移方案概览
数据迁移功能帮助您实现同构或异构数据源之间的数据迁移，适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景。本文将介绍数据迁移功能支持的数据库、版本和迁移类型，以及具体的配置文档。说明 数据迁移在某些场景...
Kafka单表实时入湖OSS（HUDI）
在 数据输出预览 窗口，您可以根据需要修改输入数据，或者单击 手工构造数据 按钮自定义输入数据，然后单击 预览 按钮，查看当前数据处理节点对数据的处理结果，当数据处理节点处理异常，或者产生脏数据时，也会实时反馈异常信息，能够帮助...
iframe
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
支持的数据库
增量数据同步 单向同步 RDS MySQL同步至函数计算FC 云数据库SelectDB版 库表结构同步 全量数据同步 增量数据同步 单向同步 RDS MySQL同步至云数据库SelectDB版 源为PolarDB MySQL版的同步方案 重要 PolarDB-X 1.0中的数据库须基于RDS MySQL...
轨迹层
数据分级：根据数据中的value字段值大小划分（自然分割）成2~7个数据大小级别，解决value值相差太大导致的渲染问题。轨迹粗细（从细到粗）：单击右侧的 或 图标，添加或删除一个类型。单击 或 图标配置多个轨迹粗细类型的排列样式。单击 ...
同步方案概览
数据同步功能帮助您实现数据源之间的数据实时同步，适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、云BI及实时数据仓库等多种业务场景。本文将介绍数据同步功能支持的数据库、同步类型和同步拓扑。说明 数据同步在某些...
双11消费屏柱图
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
Tunnel命令常见问题
本文为您介绍使用Tunnel命令过程中的常见问题。问题类别 常见问题 Tunnel Upload Tunnel Upload是否支持通配符或正则表达式？Tunnel Upload对文件大小是否有限制？记录大小是否有限制？是否要使用压缩？同一个表或分区是否可以并行上传数据...
双11轮播列表柱状图
例如设置 数量 为5，当数据面板中的数据项≤5时，每页显示的柱子数量＝数据项的数量；当数据面板中的数据项≥5时，每页显示的柱子数量＝配置项的 数量。高度 柱状图中各柱子的高度，单位为px。翻页 开启后，柱状图在轮播时展示翻页特效。...
双11轮播列表柱状图
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
概述
优势 云原生数据仓库AnalyticDB PostgreSQL版 向量数据库通过自研向量引擎FastANN提供的向量分析能力目前已经在诸多业务中得到了广泛应用，包括阿里巴巴数据中台，阿里巴巴电商新零售业务，阿里云城市大脑，通义千问大模型搭建的问答服务等...
数据服务入门
步骤一：创建数据源并配置网络连通性 使用数据服务创建API前，您需将数据库或数据仓库添加为DataWorks的数据源，并保障数据服务资源组与您的目标数据源网络连通，以便调用API时DataWorks可成功访问数据源。说明 DataWorks工作空间将集群或...
资产安全概述
应用场景 基于Dataphin实现数据安全保护的一些典型的场景：场景1：业务数据中敏感数据保护 您可以使用资产安全的敏感数据识别和保护功能，脱敏明文敏感数据，保证业务数据安全。例如，姓名张三脱敏后*三。场景2：开发环境数仓建设 敏感数据...
资产安全概述
应用场景 基于Dataphin实现数据安全保护的一些典型的场景：场景1：业务数据中敏感数据保护 您可以使用资产安全的敏感数据识别和保护功能，脱敏明文敏感数据，保证业务数据安全。例如，姓名张三脱敏后*三。场景2：开发环境数仓建设 敏感数据...
宜搭创建大屏实操
在散点层 数据 面板中的 设置数据源 模块，勾选 数据过滤器，添加一个数据过滤器，并按如下图方法配置数据过滤器的代码。代码示例如下：data.forEach(item=>{ item.type="ok"} 过滤器内容配置完成后，散点层数据中将筛选出符合过滤要求的...
JindoFS实战演示
本视频为您介绍如何将HDFS中的文件载入Hive表，然后将Hive中的数据按照分区归档到OSS。OSS访问加速 文档链接 视频链接 视频发布时间 描述 访问OSS这类对象存储最快的方式 访问OSS这类对象存储最快的方式 2021-05-25 JindoFS SDK是一个简单...
2024年
操作审计事件数据迁移至MaxCompute 2024-03-26 新增Pandas API 新说明 MaxFrame提供了兼容Pandas的API接口，您可以用类似于Pandas的方式来操作MaxCompute中的数据，同时利用MaxCompute强大的分布式计算能力，简化您在大数据环境下的数据...
冷热分离
背景信息 在海量大数据场景下，一张表中的部分业务数据随着时间的推移仅作为归档数据或者访问频率很低，同时这部分历史数据体量非常大，比如订单数据或者监控数据，降低这部分数据的存储成本将会极大的节省企业的成本。因此，如何以极简的...
数据组织优化
当中等大小的DeltaFile达到一定规模后，会进一步触发Level1~Level2的合并，生成更大的DeltaFile（图中橙色数据文件）。针对超过一定大小的数据文件，将进行专门的隔离处理，以避免触发进一步的合并，从而避免不必要的读写放大问题。例如：...
双11雷达图
无需修改数据源中的字段，就可以实现数据的实时匹配。也可以单击 图标对字段分别样式配置。过滤器 打开 过滤器，选择已创建的数据过滤器或新建数据过滤器，并配置数据过滤器脚本，实现数据的筛选功能。详情请参见 管理数据过滤器。数据响应...
区域热力层（v1.x版本）
标注 标注字段：区域的标注字段，需要与地理数据中字段名称匹配。颜色：标注的颜色，请参见 颜色选择器说明 进行修改。阴影色：标注的阴影色。字体：标注的字体系列。说明 请选择系统中的字体，如果您的系统中没有所选的字体，标注会使用...
双11雷达图
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
柱状图层
柱状图层是3D平面中国地图的子组件，支持独立的样式和数据配置，包括柱状图的高度、粗细、颜色以及经纬度等，能够以3D柱状图的形式表示不同地理坐标位置中的不同数值大小及其他信息。本文介绍柱状图层各配置项的含义。单击 子组件管理 下方...
功能简介
为了将业务人员从重复、无效的分析工作释放出来，并通过智能化的能力帮助业务管理者、运营、业务分析师等人员高效的从数据中发现规律和异常，实现知识的提取，需要提供智能、全面、精准的数据诊断和分析能力，自动洞察数据中的有效知识，...
表设计最佳实践
在增量表进行数据插入的过程中，会因为每次数据插入条数较少而造成增量表中的小文件问题。例如，每隔5分钟执行1次同步，每次同步的数据量为10条，一天内的增量为10000条，则会产生1000个小文件。此种场景下，需要在数据同步完成后合并全量...
Oracle数据源
Oracle数据源为您提供读取和写入Oracle双向通道的功能，方便您后续可以通过向导模式和脚本模式配置数据同步任务。本文为您介绍DataWorks的Oracle数据同步能力支持情况。支持的版本 离线读写 版本 离线读（Oracle Reader）离线写（Oracle ...
基于Delta lake的一站式数据湖构建与分析实战
如果有数据更新，则会自动更新至Delta Lake数据中。步骤三：数据湖探索与分析 DLF产品提供了轻量级的数据预览和探索功能，点击菜单“数据探索”->“SQL查询”进入数据查询页面。a.在元数据库表中，找到“dlf_demo_delta”，展开后可以看到...
入湖基础操作
关系数据库实时入湖：可以实现RDS MySQL或PolarDB数据库表数据增量同步到数据湖，选择在数据源管理中配置好的数据源，将数据源对应数据库中选定表的数据抽取binlog的方式将数据库表数据实时同步回放到数据湖中。待同步的数据表需确认包含...
混合存储型（已停售）
例如，选择 64G内存256G磁盘主从版，则实例最多能存储256 GB的数据，在这些数据中，有64 GB可以缓存到内存中。混合存储型实例的详细规格请参见 规格查询导航。说明 CPU核心数暂不支持自定义。内存和磁盘中会保存Key对应的元信息，其中包含...
数据归档概述
当线上数据库中的历史数据（访问率很低的数据）越来越多，占用的存储越来越大，以至于会影响数据库的查询性能与业务运转，此时您可以使用 数据管理DMS 的数据归档功能，周期性地将指定表的数据归档至其他数据库或存储服务中。同时，该功能...
X-Engine简介
为什么设计一个新的存储引擎 X-Engine的诞生是为了应对阿里内部业务的挑战，早在2010年，阿里内部就大规模部署了MySQL数据库，但是业务量的逐年爆炸式增长，数据库面临着极大的挑战：极高的并发事务处理能力（尤其是双十一的流量突发式暴增...
绑定或解绑数据库账号
在 资源管理 页面，单击目标资源组操作列中的 绑定用户。说明 资源管理 页面中的用户指数据库账号。在用户名下拉菜单中选择需要绑定的数据库账号，单击 绑定用户，并在弹出的确认绑定用户对话框中单击 确定。如果需要继续添加绑定数据库...
区域下钻热力层（v2.x版本）
参数 说明 填充颜色 数据中最大、最小及为空的value值对应区域的颜色。边线样式 区域下钻热力层各区域边线的颜色、粗细和线类型。标注：设置区域下钻热力层的区域的标注显示字段、文本样式参数。单击 标注 左侧的 图标，可控制 标注 的显隐...
Iceberg概述
您可以借助Iceberg快速地在HDFS或者阿里云OSS上构建自己的数据湖存储服务，并借助开源大数据生态的Spark、Flink、Hive和Presto等计算引擎来实现数据湖的分析。核心能力 Apache Iceberg设计初衷是为了解决Hive数仓上云的问题，经过多年迭代...
区域热力层（v2.x版本）
参数 说明 填充颜色 数据中最大、最小及为空的value值对应区域的颜色。边线样式 区域热力层各区域边线的颜色、粗细和线类型。标注：设置区域热力层的区域的标注显示字段、文本样式参数。单击 标注 左侧的 图标，可控制 标注 的显隐。参数 ...
客户案例
打造离线实时一体化数据中台，构建统一、完整的大数据应用链路，服务内部几大核心业务。全链路数据治理提高数据可用性，让数据在中台进行自由流动，保证数据准确、准时、一致，成本削减1亿元。提高业务迭代效率，数据更新频率由1天变成10...
散点层
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
自定义区域下钻层（v3.x版本）
参数 说明 填充颜色 数据中最大、最小及为空的value值对应区域的颜色。请参见 颜色映射器使用说明，配置不同区域的映射颜色样式。描边样式 自定义区域下钻层各区域边线的颜色、粗细和线的类型。说明 线型支持数字输入，如：4,4，第一个数字...
文档修订记录
绑定后，才可读取数据源或集群中的数据，并进行相关开发操作。开发前准备：绑定数据源或集群 2023.12.29 新增功能 数据源 为给您带来更统一的产品使用体验，DataWorks将MaxCompute、Hologres、AnalyticDB for PostgreSQL、AnalyticDB for ...
区域热力层
填充颜色：设置数据中最大、最小及为空的 value 值对应区域的填充颜色。边线样式：区域热力层各区域边线的颜色。文本样式：区域热力层各区域文本标注的字体系列、文本粗细、字号、颜色、文本描边粗细和描边颜色，请参见 颜色选择器说明 ...
- 产品推荐
- 这些文档可能帮助您