如何对JSON类型进行高效分析
PolarDB IMCI采用精简二进制方式存储JSON列存数据，且使用RapidJSON库解析JSON数据，处理过程中按需读取数据且利用列存压缩技术等有效减少IO量，同时充分利用SIMD和向量化及并行等加速运算。以实际测试数据为例展示列存中JSON用法及其行列...
Power BI
操作步骤 打开 Power BI，在 获取数据 菜单，选择 数据库>MySQL 数据库，单击 连接。在 MySQL 数据库 页面，进行参数配置。详细的参数配置如下表所示。配置项 说明 服务器 DLA的连接地址。关于如何获取DLA的连接地址，请参见 连接概览。若...
GenerateDISyncTaskConfigForCreating
后续您需要通过该ID，调用 QueryDISyncTaskConfigProcessResult 接口获取异步生成创建数据集成同步任务需要的参数，通过该参数创建数据集成同步任务。DataWorks目前仅支持直接使用 CreateDISyncTask 接口创建数据集成离线同步任务，而数据...
数据上云场景
MMA利用Meta Carrier连接您的Hive Metastore服务，获取Hive Metadata，并利用这些数据生成用于创建MaxCompute表和分区的DDL语句以及用于迁移数据的Hive UDTF SQL。详细信息请参见 MMA概述。数据库数据同步 数据库的数据同步到MaxCompute...
GenerateDISyncTaskConfigForUpdating
后续您需要通过该ID，调用 QueryDISyncTaskConfigProcessResult 接口获取异步生成更新数据集成同步任务需要的参数，通过该参数更新数据集成同步任务。DataWorks目前仅支持直接使用 UpdateDISyncTask 接口更新数据集成离线同步任务，而数据...
IoT数据自动化同步至云端解决方案
大数据分析是大数据完成数据价值化的重要手段之一，而进行大数据分析的第一步是让数据成功上云。解决方案 IoT数据自动化同步至云端解决方案主要包括存储原始数据和同步数据至分析系统两部分。IoT设备大量的数据通常以半结构化的形式存储。...
动态文件剪枝
动态文件剪枝（Dynamic File...使用案例 测试数据生成：在本节中我们使用TPCDS数据集作为测试数据，主要使用到store_sales和item表，下载包请联系Databricks运维，并上传到您的OSS中，然后再DDI的项目空间中创建Spark作业生成测试数据：class ...
通过向导模式配置离线同步任务
关系型数据库配置切分键 定义将源端待同步数据基于源端哪一个字段进行切分，同步任务执行时将根据该字段切分为多个task，以便并发、分批读取数据。说明 推荐splitPk用户使用表主键，因为表主键通常情况下比较均匀，因此切分出来的分片也不...
通过脚本模式配置离线同步任务
关系型数据库配置切分键 定义将源端待同步数据基于源端哪一个字段进行切分，同步任务执行时将根据该字段切分为多个task，以便并发、分批读取数据。说明 推荐splitPk用户使用表主键，因为表主键通常情况下比较均匀，因此切分出来的分片也不...
Hive数据导入
数据源名称 系统默认会按数据源类型与当前时间生成名称，可按需修改。数据源描述 数据源备注描述，例如湖仓应用场景、应用业务限制等。部署模式 如果您使用的是E-MapReduce的Hive服务，请选择阿里云实例。实例 选择数据源指向的E-MapReduce...
性能数据
密钥管理服务KMS（Key Management Service）根据调用的API不同提供的性能数据不同，性能数据越高费用也越高。本文介绍KMS的具体性能数据。概述 KMS提供了两种API，KMS API和KMS实例API。需要注意的是，KMS API请求配额是针对每个阿里云账号...
通过数据同步功能同步SLS至湖仓版（推荐）
数据源名称 系统默认按数据源类型与当前时间生成名称，可按需修改。数据源描述 数据源备注描述，例如湖仓应用场景、应用业务限制等。部署模式 目前仅支持阿里云实例。SLS Project所在地域 SLS Project所在地域。是否跨阿里云主账号 SLS数据...
读取数据
重要 如果未记录自增主键列的值，您可以使用范围读取数据按照第一个主键列确定范围读取数据。读取单行数据 调用 GetRow 接口读取一行数据。适用于能确定完整主键且要读取行数较少的场景。读取单行数据时，您可以配置如下条件过滤所需数据。...
数据源读取时间超时的优化思路
本文介绍导致DataV读取数据源超时的常见原因和解决方法。使用SQL查询的业务数据表数量太大，查询超时 针对查询条件所使用的字段添加索引，减少扫描行数。在数据库中增加定时任务，定时计算所需要的业务指标并更新结果表。DataV组件直接查询...
数据源读取时间超时的优化思路
本文介绍导致DataV读取数据源超时的常见原因和解决方法。使用SQL查询的业务数据表数量太大，查询超时 针对查询条件所使用的字段添加索引，减少扫描行数。在数据库中增加定时任务，定时计算所需要的业务指标并更新结果表。DataV组件直接查询...
动态过滤器（Dynamic Filter）
DFP（Dynamic Filter Producer）算子：动态过滤器的生产者（Producer），利用小表侧的数据生成Bloom Filter及获取JOIN Key对应的 min、max 值（Range Filter），然后发送至DFC。DFC（Dynamic Filter Consumer）算子：动态过滤器的消费者...
动态过滤器（Dynamic Filter）
DFP（Dynamic Filter Producer）算子：动态过滤器的生产者（Producer），利用小表侧的数据生成Bloom Filter及获取JOIN Key对应的 min、max 值（Range Filter），然后发送至DFC。DFC（Dynamic Filter Consumer）算子：动态过滤器的消费者...
如何选择备份方式
全量备份原理 对每张表数据进行切分，然后在数据库上运行SQL语句，多线程并行读取数据。在数据库所在服务器上安装DBS备份网关，然后通过备份网关将数据库文件进行备份（拷贝）。更多详情，请参见 添加备份网关。增量备份原理 支持实时捕获...
QueryDISyncTaskConfigProcessResult
调用QueryDISyncTaskConfigProcessResult接口，通过异步线程ID，获取异步生成创建或更新数据集成同步任务需要的参数。DataWorks目前仅支持直接使用 CreateDISyncTask 接口创建或 UpdateDISyncTask 接口更新数据集成离线同步任务，而数据...
构建数据
从 TPC官网 下载TPC-H标准的数据生成工具DBGEN，编译后生成二进制可执行文件dbgen。dbgen-s$scale-C$chunks-S$i-f-s：指定scale值，例如100GB时scale值为100，1TB时scale值为1000。C：一共分成几个chunk。S:当前命令生成第几个 chunk。说明...
添加DataWorks数据服务数据源
本文介绍在DataV中添加DataWorks数据服务数据源，并将通过DataWorks数据表生成的API，快速地展示在DataV可视化大屏中的方法。前提条件 已准备好待添加的DataWorks数据服务数据源。背景信息 DataWorks数据服务生成的API默认不支持HTTPS协议...
查询诊断
您也可以根据需求选择按照占用内存、磁盘读取数据量、磁盘读取数据耗时、网络传输数据量、网络传输数据耗时对算子排序以及计算整体比例。算子统计信息介绍如下：名称 说明 算子名称 算子名称与编号，在计划树中唯一。类型ID 算子类型编号。...
添加DataWorks数据服务数据源
本文介绍在DataV中添加DataWorks数据服务数据源，并将通过DataWorks数据表生成的API，快速地展示在DataV可视化大屏中的方法。前提条件 已准备好待添加的DataWorks数据服务数据源。背景信息 DataWorks数据服务生成的API默认不支持HTTPS协议...
执行补数据并查看补数据实例（旧版）
参数 描述 补数据名称 平台自动生成，您可按需修改。当前任务 当前选中的任务。业务日期 指定所选任务需要进行补数据的业务日期，精确到天。如需对该任务的多个不连续的时间段补数据，可单击 添加多段业务日期，配置多个时间段。当 业务...
数据导入概览
④ 图数据库GDB加载程序从满足RAM角色的Bucket中读取数据并将数据加载至图数据GDB实例。使用DataWorks数据集成同步数据到GDB DataWorks 是阿里云上的一站式大数据智能云研发平台，其中数据集成服务支持导出数据到GDB，您也可以使用平台完成...
生成数据API
数据服务解决从数仓到应用的“最后一公里”，将数据源中的数据表快速生成数据API，在API网关进行统一管理和发布。实现低成本、易上手、安全稳定的数据共享与开放。背景信息 为了将最终分析的结果加速查询后开放出API接口对接三方服务，本次...
概述
流程图说明：步骤 说明 1 用户的 APP（业务系统）向主集群的数据库节点（运行 OBServer 进程的服务器）写入/读取数据。2 主集群（生产集群）的数据写入生成 REDO 日志。3 主集群自动向备集群通过日志异步复制的方式传输 REDO 日志。4 备...
BLOB数据类型（邀测中）
说明 仅Lindorm JDBC Driver为2.1.3及以上版本时，可以通过该方式读取数据。如果需要在后续业务逻辑中进行流式处理，请选择该方式。获取BLOB列对应的InputStream对象进行读取 ResultSet resultSet=stmt.executeQuery("select*from"+...
迭代器功能说明
在区块编辑器面板中可先添加一个或多个组件组成的单元模板（即成组），再通过迭代器的数据驱动，生成一个列表，列表项的数量与迭代器数据中数组的长度一致。本文介绍迭代器的功能及操作说明。迭代器即列表生成器，列表中每一项称为一个迭代...
迭代器功能说明
在区块编辑器面板中可先添加一个或多个组件组成的单元模板（即成组），再通过迭代器的数据驱动，生成一个列表，列表项的数量与迭代器数据中数组的长度一致。本文介绍迭代器的功能及操作说明。迭代器即列表生成器，列表中每一项称为一个迭代...
构建测试数据
从 TPC官网 下载TPC-DS标准的数据生成工具DSDGEN，编译后生成二进制可执行文件dsdgen。创建存放数据文件的目录。mkdir data1tb 构建测试数据。dsdgen-sc 1000-dir data1tb-TERMINATE N 参数说明如下：参数 说明 示例-sc 测试数据量的大小。...
生成数据库脚本
在 数据库类型及版本 下拉列表中选择目标数据库类型，选择生成类型选中 表结构生成语句，选择一个目标数据模型版本，单击 生成脚本。在 数据库类型及版本 下拉列表中选择目标数据库类型，选择生成类型选中 表结构变更语句，选择用于对比的...
缓存数据持久化
从RDS MySQL中读取，返回结果示例：Redis中未查询到数据，从RDS MySQL查询到数据：((1,'Zhangsan'),(2,'Lisi'),(3,'Wangwu'))再次运行时，由于第一次查询后已将查询数据缓存至Redis中，因此第二次直接从Redis缓存中读取数据。返回结果示例...
读取优化
Short-Circuit Local Read（已经默认开启）当前HDFS读取数据需要经过DataNode，开启Short-Circuit Local Read后，客户端可以直接读取本地数据。Hedged Read（已经默认开启）优先会通过Short-Circuit Local Read功能尝试本地读。但是在某些...
使用数据镜像保护尚未写入完整的数据
使用场景 创建数据镜像，可确保在数据大批量写入更新期间，所有读请求从数据镜像获取数据。从而确保数据在完整写入前不会被应用程序读取到。数据镜像的读取性能与先前非镜像数据的读取性能完全保持一致。说明 数据更新完成后，可将数据正式...
数据服务入门
步骤一：创建数据源并配置网络连通性 使用数据服务创建API前，您需将数据库或数据仓库添加为DataWorks的数据源，并保障数据服务资源组与您的目标数据源网络连通，以便调用API时DataWorks可成功访问数据源。说明 DataWorks工作空间将集群或...
SQL
PyODPS默认不限制从Instance读取的数据规模，但Project Owner可能在MaxCompute Project上增加保护设置，以限制对Instance结果的读取，此时只能使用受限读取模式读取数据，在此模式下可读取的行数受到Project配置限制，通常为10000行。...
补数据
产生原因 补数据生成多少个实例与您节点配置的定时时间有关。假设小时任务设置0：00开始至23：59分每小时调度一次。如果选择补数据区间为00：00~1：00，那么将产生两个实例，实例定时时间分别为0：00，1：00。假设分钟任务设置0：00开始至...
授予数据门户权限
授予查看或导出数据门户菜单内容权限 在 协同授权 页面的 菜单内容授权 页签，选择最终生效权限：选择为 菜单：选择为菜单，则此处菜单权限是根据菜单配置的权限来判断。选择为 内容：选择为内容，则此处权限根据绑定至数据门户中的报表...
RestAPI Reader最佳实践
背景信息 DataWorks数据集成RestAPI Reader在读取数据和返回读取结果的能力如下。维度 能力支持 返回值类型 当前仅支持JSON格式的返回结果。读取数据类型 支持读取INT、BOOLEAN、DATE、DOUBLE、FLOAT、LONG、STRING数据类型。请求方式 支持...
- 产品推荐
- 这些文档可能帮助您