数据服务入门
步骤一：创建数据源并配置网络连通性 使用数据服务创建API前，您需将数据库或数据仓库添加为DataWorks的数据源，并保障数据服务资源组与您的目标数据源网络连通，以便调用API时DataWorks可成功访问数据源。说明 DataWorks工作空间将集群或...
同步方案概览
数据同步功能帮助您实现数据源之间的数据实时同步，适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、云BI及实时数据仓库等多种业务场景。本文将介绍数据同步功能支持的数据库、同步类型和同步拓扑。说明 数据同步在某些...
Tunnel命令常见问题
java.io.IOException:Error writing request body to server 产生原因 这是上传数据到服务器时产生的异常，通常是因为上传过程中的网络连接断开或超时导致的：当您的数据源并非是本地文件，需要从数据库等地方获取时，数据在写入的过程中还...
数据服务
数据服务中的API分组的作用是什么，与API网关中的分组有什么关联？如何合理设置API分组？最多可以创建多少个API分组？什么情况下要开启API返回结果分页功能？生成API是否支持POST请求？生成API是否支持HTTPS协议？为什么数据服务无法连接...
应用场景
广告场景 使用云数据库HBase存储广告营销中的画像特征、用户事件、点击流、广告物料等重要数据，提供高并发、低延迟、灵活可靠的能力，帮助您构建更先进的实时竞价、广告定位投放等系统服务。优势如下：低延迟：单个毫秒响应，支持双集群...
应用场景
广告场景：海量广告营销数据的实时存储 使用Lindorm存储广告营销中的画像特征、用户事件、点击流、广告物料等重要数据，提供高并发、低延迟、灵活可靠的能力，帮助您快速构建实时竞价、广告定位投放等系统服务。优势 低延迟：单个毫秒响应...
2024年
操作审计事件数据迁移至MaxCompute 2024-03-26 新增Pandas API 新说明 MaxFrame提供了兼容Pandas的API接口，您可以用类似于Pandas的方式来操作MaxCompute中的数据，同时利用MaxCompute强大的分布式计算能力，简化您在大数据环境下的数据...
柱状图层
柱状图层是3D平面中国地图的子组件，支持独立的样式和数据配置，包括柱状图的高度、粗细、颜色以及经纬度等，能够以3D柱状图的形式表示不同地理坐标位置中的不同数值大小及其他信息。本文介绍柱状图层各配置项的含义。单击 子组件管理 下方...
JindoFS实战演示
本视频为您介绍如何将HDFS中的文件载入Hive表，然后将Hive中的数据按照分区归档到OSS。OSS访问加速 文档链接 视频链接 视频发布时间 描述 访问OSS这类对象存储最快的方式 访问OSS这类对象存储最快的方式 2021-05-25 JindoFS SDK是一个简单...
宜搭创建大屏实操
在散点层 数据 面板中的 设置数据源 模块，勾选 数据过滤器，添加一个数据过滤器，并按如下图方法配置数据过滤器的代码。代码示例如下：data.forEach(item=>{ item.type="ok"} 过滤器内容配置完成后，散点层数据中将筛选出符合过滤要求的...
Oracle数据源
Oracle数据源为您提供读取和写入Oracle双向通道的功能，方便您后续可以通过向导模式和脚本模式配置数据同步任务。本文为您介绍DataWorks的Oracle数据同步能力支持情况。支持的版本 离线读写 版本 离线读（Oracle Reader）离线写（Oracle ...
双11雷达图
无需修改数据源中的字段，就可以实现数据的实时匹配。也可以单击 图标对字段分别样式配置。过滤器 打开 过滤器，选择已创建的数据过滤器或新建数据过滤器，并配置数据过滤器脚本，实现数据的筛选功能。详情请参见 管理数据过滤器。数据响应...
区域热力层（v1.x版本）
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
冷热分离
背景信息 在海量大数据场景下，一张表中的部分业务数据随着时间的推移仅作为归档数据或者访问频率很低，同时这部分历史数据体量非常大，比如订单数据或者监控数据，降低这部分数据的存储成本将会极大的节省企业的成本。因此，如何以极简的...
表设计最佳实践
在增量表进行数据插入的过程中，会因为每次数据插入条数较少而造成增量表中的小文件问题。例如，每隔5分钟执行1次同步，每次同步的数据量为10条，一天内的增量为10000条，则会产生1000个小文件。此种场景下，需要在数据同步完成后合并全量...
什么是Quick Audience
Quick Audience为您打造一站式的消费者资产管理和运营平台，通过快速的数据对接、方便的模型配置、灵活的圈选完成用户的洞察和分群，通过多渠道的链接、自动化营销链路的编排，完成用户的触达和营销策略的沉淀，提升企业消费者运营的效率，...
入湖基础操作
关系数据库实时入湖：可以实现RDS MySQL或PolarDB数据库表数据增量同步到数据湖，选择在数据源管理中配置好的数据源，将数据源对应数据库中选定表的数据抽取binlog的方式将数据库表数据实时同步回放到数据湖中。待同步的数据表需确认包含...
常见问题
MaxCompute作为大数据平台，对业务数据是否有好的监控手段？MaxCompute的项目发挥什么作用？如何获取MaxCompute中的Accesskey_ID和AccessKey_Secret？现有账号的AccessKey被禁用，创建一个新的AccessKey，会对之前AccessKey创建的周期性...
客户案例
DataWorks在多个行业中均有典型的案例落地，帮助多个行业的企业解决数据痛点，挖掘数据价值，本文为您介绍典型行业中已落地的客户案例。新零售行业：大润发云上数据中台建设 客户架构如下。客户简介 为了快速数字化转型，拥抱新零售，...
基于Delta lake的一站式数据湖构建与分析实战
数据湖作为一个集中化的数据存储仓库，支持的数据类型具有多样性，包括结构化、半结构化以及非结构化的数据，数据来源上包含数据库数据、binglog 增量数据、日志数据以及已有数仓上的存量数据等。数据湖能够将这些不同来源、不同格式的数据...
数据归档概述
当线上数据库中的历史数据（访问率很低的数据）越来越多，占用的存储越来越大，以至于会影响数据库的查询性能与业务运转，此时您可以使用 数据管理DMS 的数据归档功能，周期性地将指定表的数据归档至其他数据库或存储服务中。同时，该功能...
散点层
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
RDS SQL Server空间不足问题
索引碎片率统计的是逻辑上相邻的索引页在物理位置上不一致的比例，和索引页中的空闲空间比例不是一个概念，只是碎片率较高的索引大概率也是可回收空间比例较大的索引。如果需要分析某个索引的页内平均空闲空间比例，可以使用SAMPLED或...
Iceberg概述
您可以借助Iceberg快速地在HDFS或者阿里云OSS上构建自己的数据湖存储服务，并借助开源大数据生态的Spark、Flink、Hive和Presto等计算引擎来实现数据湖的分析。核心能力 Apache Iceberg设计初衷是为了解决Hive数仓上云的问题，经过多年迭代...
区域下钻热力层（v2.x版本）
默认抛出所单击区域对应的 映射数据接口 中的 area_id 字段值，具体配置请参见 组件回调ID配置。说明 此回调ID需要在映射数据接口中的 area_id 字段配置了区域的adcode值时才可以传递；如果该字段中没有配置adcode值，默认是不回传数据。当...
混合存储型（已停售）
业务中的数据访问完全随机。冷热数据的性能和延迟要求 热数据访问场景对性能要求很高。冷数据访问场景对延迟的敏感度不高。业务对性能的要求极高。业务对延迟的敏感度高。大Key的访问规律 业务中没有大Key。业务中有大Key，且大Key的访问率...
文档修订记录
绑定后，才可读取数据源或集群中的数据，并进行相关开发操作。开发前准备：绑定数据源或集群 2023.12.29 新增功能 数据源 为给您带来更统一的产品使用体验，DataWorks将MaxCompute、Hologres、AnalyticDB for PostgreSQL、AnalyticDB for ...
数据标准
数据标准落标说明 数据标准落标的意义在于从源头进行数据的标准化生产，加速数据的融合与统一的效率，节省大量数据应用和处理的成本。完成以下操作实现数据标准落标：您可以在 字段编辑器 页面，编辑 中文名，输入拼音首字母即可快速检索出...
如何对JSON类型进行高效分析
数据管理（Management）：对数据仓库中的数据进行管理，包括数据备份、数据恢复、数据安全等操作。数据分析（Analysis）：通过数据仓库中的数据进行多维分析，包括查询、报表、数据挖掘等操作。业务系统的生产数据一般会经过中间ETL任务按...
数据库克隆
数据管理DMS的数据库克隆功能支持将源数据库的表结构和表数据复制至目标数据库中，实现全部表或部分表备份，适用多环境数据库初始化，例如将开发环境复制到测试环境。前提条件 源数据库与目标数据库类型相同，且都为MySQL。数据库实例的...
区域热力层（v3.x版本）
GeoJSON提取工具中的数据已更新，需使用新的GeoJSON数据文件。修改参数。以 肇庆市 的区县级GeoJSON数据为例，高要区 文字标注有偏移。使用 DataV.GeoAtlas边界生成器 工具，上传 肇庆市 的区县级GeoJSON数据文件，在 属性表面板 中添加...
区域热力层（v2.x版本）
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
区域热力层
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
配置资产数据
本文档介绍配置资产数据的方法，以及资产数据面板的内容，包括数据接口、数据源、数据过滤器和数据轮询频次等。操作步骤 登录 DataV控制台。在 我的可视化 页面，单击您创建的可视化应用项目上方的 编辑 按钮。在画布编辑器页面，单击 图层...
DescribeColumnsV2-查询数据资产表中列的数据V2
调用DescribeColumns接口查询数据安全中心连接授权的MaxCompute、RDS等数据资产表中列的数据。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权...
通用数据查询与管理
如果需要快速地查找数据，例如查找工作空间、数据源中的表、数据分析和数据服务中的代码或API，您可以在数据地图中进行查找。进入数据地图 登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据治理>数据地图，在右侧页面中单击...
数据变更最佳实践
例如将MaxCompute中的数据导入 AnalyticDB MySQL版 时，MaxCompute中同一个表的不同分区中的数据会在系统中排队串行导入。实时导入：适用于小数据量导入的场景，例如百万级别的表数据。例如，从RDS for MySQL、ECS自建MySQL数据导入 ...
基本概念
对于异构数据库之间的结构迁移，DTS会将源库的结构定义转换为目标库支持的结构定义，例如将Oracle数据库中的NUMBER数据类型转换为MySQL数据库中的DECIMAL数据类型。全量数据迁移 在全量数据迁移阶段，DTS会将源数据库的存量数据全部迁移到...
外部数据
说明 这种用法不要和外键混淆，后者是数据库中的一种约束 外部数据可以在一个外部数据包装器的帮助下被访问。一个外部数据包装器是一个库，它可以与一个外部数据源通讯，并隐藏连接到数据源和从它获取数据的细节。在 contrib 模块中有一些...
图层配置项说明
重新选择数据：单击数据面板内的 重新选择数据，打开 选择范围 对话框，即可重新选择仅针对当前图层对应的数据范围，详情请参见 创建三维城市 中的 官方基底数据 中选择场景范围区域步骤或 空间构建数据 中选择空间数据项目步骤。刷新数据...
- 产品推荐
- 这些文档可能帮助您