生成数据API
数据服务解决从数仓到应用的“最后一公里”，将数据源中的数据表快速生成数据API，在API网关进行统一管理和发布。实现低成本、易上手、安全稳定的数据共享与开放。背景信息 为了将最终分析的结果加速查询后开放出API接口对接三方服务，本次...
场景管理器
如果数据中有duration字段，则优先使用数据中的配置。延迟时间：一个场景动画结束到下一个场景动画开始所停留的时间，取值范围为0~30000，单位为ms。如果数据中有delay字段，则优先使用数据中的配置。回调ID：设置组件之间数据联动的变量，...
场景管理器
如果数据中有 duration 字段，则优先使用数据中的配置。延迟时间：一个场景动画结束到下一个场景动画开始所停留的时间，取值范围为0~30000，单位为ms。如果数据中有 delay 字段，则优先使用数据中的配置。回调ID：设置组件之间数据联动的...
数据保护机制
MaxCompute已提供数据保护机制能力，如果项目中的数据敏感度很高，则需要项目所有者自行设置数据保护机制。MaxCompute项目的数据保护机制默认为关闭状态。项目所有者可以在项目中执行 set projectProtection=true;命令开启数据保护机制，...
观远BI连接MaxCompute
MaxCompute支持您将MaxCompute项目数据接入观远BI，帮助企业的业务人员和数据分析师开展以问题为导向的探索式分析工作以及制作数据卡片和数据看板。本文为您介绍如何通过MaxCompute JDBC驱动，连接观远BI和MaxCompute项目，并进行可视化...
开发前准备：绑定数据源或集群
绑定后，才可读取数据源或集群中的数据，并进行相关开发操作。前提条件 您需根据后续要开发和调度的任务类型，提前创建好对应的数据源或集群。该数据源或集群需参考本文绑定至数据开发（DataStudio）。数据开发（DataStudio）支持绑定的...
集成与开发概览
支持链路及开发过程中的数据安全。分钟级调度。多环境管理。应用场景 数据集成 运维：数据容灾、异地多活、数据归档、数据迁移、测试数据生成、运维指标监控、业务指标监控等。开发：实时报表、日志分析、离线宽表、T+1数据快照、数据聚合...
迁移方案概览
数据迁移功能帮助您实现同构或异构数据源之间的数据迁移，适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景。本文将介绍数据迁移功能支持的数据库、版本和迁移类型，以及具体的配置文档。说明 数据迁移在某些场景...
Kafka单表实时入湖OSS（HUDI）
在弹出对话框中指定好 开始时间 和 采样条数 后，单击 开始采集 按钮，可以对指定的Kafka Topic进行数据采样，同时您可以预览Topic中的数据，为后续数据处理节点的数据预览和可视化配置提供输入。编辑数据处理节点。单击 图标可以增加数据...
iframe
BI分析数据配置面板中的详细操作说明，请参见 BI分析模式数据面板功能介绍。url链接：配置组件所显示页面的链接，与 链接 配置项功能相同。如果同时配置，优先使用数据中的 url链接 字段内容。说明 当组件是以分析模式添加后，您可以单击...
支持的数据库
增量数据同步 单向同步 RDS MySQL同步至函数计算FC 云数据库SelectDB版 库表结构同步 全量数据同步 增量数据同步 单向同步 RDS MySQL同步至云数据库SelectDB版 源为PolarDB MySQL版的同步方案 重要 PolarDB-X 1.0中的数据库须基于RDS MySQL...
同步方案概览
数据同步功能帮助您实现数据源之间的数据实时同步，适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、云BI及实时数据仓库等多种业务场景。本文将介绍数据同步功能支持的数据库、同步类型和同步拓扑。说明 数据同步在某些...
申请、续期和交还表权限
若关闭生产数据安全模式，则您加入目标项目，且您在项目中的角色包含项目 资产权限-新建 的权限点，即可在开发环境创建表，如何开启生产数据安全模式，请参见 安全设置。若开启跨项目安全模式，则仅可在任务所在的项目中创建表，不能跨项目...
散点层
若数据中 type 字段不存在于此配置项中，则以默认颜色渲染。数据面板 配置字段说明 字段 说明 lng 散点的经度。lat 散点的纬度。type 散点的类型，与 散点类型>type 配置项共同定义散点的颜色。value 散点对应的数值，与 散点大小>数值 ...
散点层
若数据中type字段不存在于此配置项中，则以默认颜色渲染。数据源面板 字段 说明 lng 散点的经度。lat 散点的纬度。type 散点的类型，与 散点类型type 配置项共同定义散点的颜色。value 散点对应的数值，与 散点大小数值 配置项共同定义散点...
同数据库归档
当数据库中表的数据量过大时，可能会影响查询数据速率，在不考虑将数据迁移到其他数据库的情况下，您可以将数据库中的历史数据或使用频率低的冷数据归档在当前数据库下的其他表中。同时，结合DMS提供的归档时清理源表功能，帮助您提升数据...
轨迹层
数据分级：根据数据中的 value 字段值大小划分（自然分割）成2~7个数据大小级别，解决 value 值相差太大导致的渲染问题。轨迹粗细（从细到粗）：单击右侧的 或 图标，添加或删除一个类型。单击 或 图标配置多个轨迹粗细类型的排列样式。...
轨迹层
数据分级：根据数据中的value字段值大小划分（自然分割）成2~7个数据大小级别，解决value值相差太大导致的渲染问题。轨迹粗细（从细到粗）：单击右侧的 或 图标，添加或删除一个类型。单击 或 图标配置多个轨迹粗细类型的排列样式。单击 ...
双11消费屏柱图
例如设置 数量 为5，当数据面板中的数据项≤5时，组件内显示的柱子数量＝数据项的数量；当数据面板中的数据项≥5时，组件内显示的柱子数量＝配置项的 数量。序列号：柱状图中每个柱子的序列号，单击 图标可控制序列号的显隐。文本：序列号...
Tunnel命令常见问题
本文为您介绍使用Tunnel命令过程中的常见问题。问题类别 常见问题 Tunnel Upload Tunnel Upload是否支持通配符或正则表达式？Tunnel Upload对文件大小是否有限制？记录大小是否有限制？是否要使用压缩？同一个表或分区是否可以并行上传数据...
双11轮播列表柱状图
例如设置 数量 为5，当数据面板中的数据项≤5时，每页显示的柱子数量＝数据项的数量；当数据面板中的数据项≥5时，每页显示的柱子数量＝配置项的 数量。高度 柱状图中各柱子的高度，单位为px。翻页 开启后，柱状图在轮播时展示翻页特效。...
双11轮播列表柱状图
例如设置 数量 为5，当数据面板中的数据项≤5时，每页显示的柱子数量＝数据项的数量；当数据面板中的数据项≥5时，每页显示的柱子数量＝配置项的 数量。高度 柱状图中各柱子的高度，单位为px。翻页 开启后，柱状图在轮播时展示翻页特效，仅...
概述
优势 云原生数据仓库AnalyticDB PostgreSQL版 向量数据库通过自研向量引擎FastANN提供的向量分析能力目前已经在诸多业务中得到了广泛应用，包括阿里巴巴数据中台，阿里巴巴电商新零售业务，阿里云城市大脑，通义千问大模型搭建的问答服务等...
数据服务入门
步骤一：创建数据源并配置网络连通性 使用数据服务创建API前，您需将数据库或数据仓库添加为DataWorks的数据源，并保障数据服务资源组与您的目标数据源网络连通，以便调用API时DataWorks可成功访问数据源。说明 DataWorks工作空间将集群或...
宜搭创建大屏实操
在散点层 数据 面板中的 设置数据源 模块，勾选 数据过滤器，添加一个数据过滤器，并按如下图方法配置数据过滤器的代码。代码示例如下：data.forEach(item=>{ item.type="ok"} 过滤器内容配置完成后，散点层数据中将筛选出符合过滤要求的...
JindoFS实战演示
本视频为您介绍如何将HDFS中的文件载入Hive表，然后将Hive中的数据按照分区归档到OSS。OSS访问加速 文档链接 视频链接 视频发布时间 描述 访问OSS这类对象存储最快的方式 访问OSS这类对象存储最快的方式 2021-05-25 JindoFS SDK是一个简单...
2024年
操作审计事件数据迁移至MaxCompute 2024-03-26 新增Pandas API 新说明 MaxFrame提供了兼容Pandas的API接口，您可以用类似于Pandas的方式来操作MaxCompute中的数据，同时利用MaxCompute强大的分布式计算能力，简化您在大数据环境下的数据...
冷热分离
背景信息 在海量大数据场景下，一张表中的部分业务数据随着时间的推移仅作为归档数据或者访问频率很低，同时这部分历史数据体量非常大，比如订单数据或者监控数据，降低这部分数据的存储成本将会极大的节省企业的成本。因此，如何以极简的...
数据组织优化
当中等大小的DeltaFile达到一定规模后，会进一步触发Level1~Level2的合并，生成更大的DeltaFile（图中橙色数据文件）。针对超过一定大小的数据文件，将进行专门的隔离处理，以避免触发进一步的合并，从而避免不必要的读写放大问题。例如：...
双11雷达图
无需修改数据源中的字段，就可以实现数据的实时匹配。也可以单击 图标对字段分别样式配置。过滤器 打开 过滤器，选择已创建的数据过滤器或新建数据过滤器，并配置数据过滤器脚本，实现数据的筛选功能。详情请参见 管理数据过滤器。数据响应...
区域热力层（v1.x版本）
标注 标注字段：区域的标注字段，需要与地理数据中字段名称匹配。颜色：标注的颜色，请参见 颜色选择器说明 进行修改。阴影色：标注的阴影色。字体：标注的字体系列。说明 请选择系统中的字体，如果您的系统中没有所选的字体，标注会使用...
柱状图层
柱状图层是3D平面中国地图的子组件，支持独立的样式和数据配置，包括柱状图的高度、粗细、颜色以及经纬度等，能够以3D柱状图的形式表示不同地理坐标位置中的不同数值大小及其他信息。本文介绍柱状图层各配置项的含义。单击 子组件管理 下方...
双11雷达图
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
表设计最佳实践
在增量表进行数据插入的过程中，会因为每次数据插入条数较少而造成增量表中的小文件问题。例如，每隔5分钟执行1次同步，每次同步的数据量为10条，一天内的增量为10000条，则会产生1000个小文件。此种场景下，需要在数据同步完成后合并全量...
Oracle数据源
如果您配置离线任务时使用脚本模式的方式进行配置，您需要在任务脚本中按照脚本的统一格式要求编写脚本中的reader参数和writer参数，脚本模式的统一要求请参见 通过脚本模式配置离线同步任务，以下为您介绍脚本模式下的数据源的Reader参数...
基于Delta lake的一站式数据湖构建与分析实战
如果有数据更新，则会自动更新至Delta Lake数据中。步骤三：数据湖探索与分析 DLF产品提供了轻量级的数据预览和探索功能，点击菜单“数据探索”->“SQL查询”进入数据查询页面。a.在元数据库表中，找到“dlf_demo_delta”，展开后可以看到...
入湖基础操作
关系数据库全量入湖：可以实现RDS MySQL或PolarDB数据库表数据全量同步到数据湖，选择在数据源管理中配置好的数据源，将数据源对应数据库中选定表的数据全量同步到OSS中，如果待同步表中数据量大，则所消耗的资源也会比较大，建议在业务...
混合存储型（已停售）
例如，选择 64G内存256G磁盘主从版，则实例最多能存储256 GB的数据，在这些数据中，有64 GB可以缓存到内存中。混合存储型实例的详细规格请参见 规格查询导航。说明 CPU核心数暂不支持自定义。内存和磁盘中会保存Key对应的元信息，其中包含...
数据归档概述
当线上数据库中的历史数据（访问率很低的数据）越来越多，占用的存储越来越大，以至于会影响数据库的查询性能与业务运转，此时您可以使用 数据管理DMS 的数据归档功能，周期性地将指定表的数据归档至其他数据库或存储服务中。同时，该功能...
X-Engine简介
为什么设计一个新的存储引擎 X-Engine的诞生是为了应对阿里内部业务的挑战，早在2010年，阿里内部就大规模部署了MySQL数据库，但是业务量的逐年爆炸式增长，数据库面临着极大的挑战：极高的并发事务处理能力（尤其是双十一的流量突发式暴增...
- 产品推荐
- 这些文档可能帮助您