使用SDK示例代码消费订阅数据
消费订阅速度变慢 无 可通过查询统计信息中的参数 DStoreRecordQueue 和 DefaultUserRecordQueue 队列的大小，分析消费数据变慢的原因。查询方式，请参见 消费数据的统计信息。如参数 DStoreRecordQueue 保持为0，则表示DTS服务器拉取数据...
使用SDK示例代码消费订阅数据
消费订阅速度变慢 无 通过查询统计信息中的参数 DStoreRecordQueue 和 DefaultUserRecordQueue 队列的大小，分析消费数据变慢的原因。查询方式，请参见 消费数据的统计信息。如参数 DStoreRecordQueue 保持为0，则表示DTS服务器拉取数据...
新建注册上挂指标
您可以将物理表中的指标字段上挂至汇总逻辑表进行数据分析。...参数 描述 数据类型 选择上挂指标的数据类型。度量单位 选择上挂指标的度量单位。业务负责人 选择上挂指标的业务负责人。描述 填写对上挂指标的简单描述。配置完成后单击 确定。
新建注册上挂指标
您可以将物理表中的指标字段上挂至汇总逻辑表进行数据分析。...参数 描述 数据类型 选择上挂指标的数据类型。度量单位 选择上挂指标的度量单位。业务负责人 选择上挂指标的业务负责人。描述 填写对上挂指标的简单描述。配置完成后单击 确定。
滑动范围选择器
过滤器 打开 过滤器，选择已创建的数据过滤器或新建数据过滤器，并配置数据过滤器脚本，实现数据的筛选功能。详情请参见 管理数据过滤器。数据响应结果 实时展示了组件所使用的数据。当组件数据源发生变化时，数据响应结果会对应展示最新的...
级联选择器
过滤器 打开 过滤器，选择已创建的数据过滤器或新建数据过滤器，并配置数据过滤器脚本，实现数据的筛选功能。详情请参见 管理数据过滤器。数据响应结果 实时展示了组件所使用的数据。当组件数据源发生变化时，数据响应结果会对应展示最新的...
MaxCompute表的高级功能
申请过多的DataHub Shard将会产生小文件问题，以下是申请DataHub Shard数目时的策略：单个Shard的默认吞吐量是1MB/s，可以按照此数据分配实际的Shard数目（您也可以在此基础上多加几个）。MaxCompute的每个Shard会有一个单独的Task，每隔5...
宜搭创建大屏实操
在子组件管理处，单击选择 散点层 子组件，切换进入 散点层 子组件的 数据 面板，单击 配置数据源，选择 宜搭数据源，单击 进入配置。在 图表数据配置 对话框中，将 数据集 选择 客户库。通过拖拽的方式，将 纬度 配置为 lat 字段，经度 ...
配置Spark SQL任务参数
参数名称 参数默认值 描述 spark.executor.instances 1 静态分配的执行器数量。spark.executor.cores 1 每个执行器上使用的核心数量。spark.executor.memory 1G 执行程序进程使用的内存量。spark.yarn.am.memory 512M 客户端模式下YARN ...
数据源管理常见问题
API数据源不用添加，可以直接在画布编辑器中的 数据 面板 设置数据源 模块查找到。在DataV中使用API数据源时，如果遇到跨域的问题，无法正常获取数据时怎么解决？跨域数据源共享（CORS）是一种基于HTTP头的机制，该机制支持服务器标示除了...
数据源管理常见问题
API数据源不用添加，可以直接在画布编辑器中的 数据 面板 设置数据源 模块查找到。在DataV中使用API数据源时，如果遇到跨域的问题，无法正常获取数据时怎么解决？跨域数据源共享（CORS）是一种基于HTTP头的机制，该机制支持服务器标示除了...
资产安全概述
通过数据分类分级、敏感数据识别、敏感数据脱敏等措施，帮助客户建立完善的数据安全体系，确保数据使用的安全合规性。前提条件 已购买 资产安全 增值服务，详情请参见 开通Dataphin。应用场景 基于Dataphin实现数据安全保护的一些典型的...
资产安全概述
通过数据分类分级、敏感数据识别、敏感数据脱敏等措施，帮助客户建立完善的数据安全体系，确保数据使用的安全合规性。前提条件 已购买 资产安全 增值服务并且当前租户已开通 资产安全 模块。应用场景 基于Dataphin实现数据安全保护的一些...
导入数据
原因类别 根据实际情况选择数据导入的原因。业务背景 详细填写本次操作的业务背景，减少沟通成本。执行方式 根据需求，选择工单执行方式：审批通过后，提交者执行。审批通过后，自动执行。最后一个审批人执行。文件编码 选择数据库的文件...
MongoDB实例内存使用率高问题
默认情况下，云数据库 MongoDB 版 的内存分配器是Google tcmalloc，内存主要被 Wiredtiger存储引擎 和 客户端连接及请求处理 占用。查看方法 分片集群架构下，各个分片（Shard）的内存使用与副本集架构保持一致，Config Server用于存储配置...
图扑案例
解决方案 厦门图扑软件致力于解决工业物联网全链路数据处理最后一公里的数据可视化环节技术难点。面向工业物联网IIoT场景，图扑软件提供监控系统监控可视化解决方案，其产品可用于快速创建和部署，高度可定制化，并具有强大交互功能的拓扑...
将数据写入OSS
背景信息 与读取OSS数据类似，MaxCompute支持将内部表数据或处理外部表得到的数据写入OSS：通过内置文本或开源数据解析器将数据写入OSS 当需要将数据以CSV、TSV、开源格式或MaxCompute支持的压缩格式写入OSS时，您可以通过基于MaxCompute...
数据模型
本文介绍Lindorm时序引擎的数据模型以及相关术语。基本概念 物联网、应用监控、工业互联网等典型的时序场景下，数据源（Data Source）通常按一定的周期持续产生时序数据，一条时序数据由Tag、Timestamp、Field等元素共同来描述，具有相同...
使用说明
删除在指定RW节点上创建的数据库 删除在指定RW节点上创建的数据库。语法结构如下：DROP DATABASE name;示例：删除在RW1节点上创建的数据库 db1 DROP DATABASE db1;删除数据库时，无需指定POLARDB_WRITE_NODE。RW节点切换 把数据库的访问点...
区块概述
区块接口节点说明 区块定义内部和外部的数据传输，依靠蓝图编辑器中的 数据接口 节点、事件接口 节点和 动作接口 节点进行配置，不同接口的区别如下：数据接口：用于接收外部数据源传入区块的数据，再通过蓝图编辑器分发数据给内部的组件。...
使用DTS进行数据迁移是否会覆盖掉已存在数据
概述 本文介绍使用DTS进行数据迁移是否会覆盖掉已存在数据。详细信息 如果配置迁移任务时，只迁移几个表，那么预检查...因此在目标库有数据的情况下，DTS不支持进行数据迁移，所以DTS数据迁移不会覆盖掉已存在的数据。适用于 数据传输服务 DTS
离线同步常见问题
可能原因：数据库相关编码未设置为utf8mb4，导致同步表情符报错。源端的数据本身就是乱码。数据库和客户端的编码不一样。浏览器编码不一样，导致预览失败或乱码。解决方案：针对产生乱码的不同原因，选择相应的解决方法：如果您的原始数据...
管理数据看板
进入恢复模式 重要 当您编写的过滤器有问题（例如死循环导致的看板卡顿）、数据源配置有问题（例如返回的数据量过大导致的看板卡顿）或自定义组件有逻辑问题等其他原因导致数据看板无法编辑时，使用恢复模式进入，可以删除掉带来问题的内容...
基本概念
用户可以选择多个Mongos作为请求的入口，防止其中一个挂掉所有的MongoDB请求都无法操作。Shard MongoDB分片集群中的分片。单个Shard是由三节点的副本集组成，保证单个分片的高可用性，用户可以根据自己的应用性能及存储要求，购买多个Shard...
数据处理
本文为您详细介绍GDB Automl数据导入的方法。...解析后的数据帧，可以选择切分工具，按照自定义比例进行数据切分。帮助您自动划分训练集、验证集和测试集，划分时按照种子随机切分。单击 切分。单击 创建，得到拆分后的数据帧文件。
编辑数据源
说明 编辑修改数据源内容时，可使用 Ctrl+Z 键，撤销本次操作并返回到上一步的数据框内容。数据映射 一般情况下，系统能够自动匹配数据源中的类目和值，完成数据映射。如果数据复杂，则需要手动输入字段来完成数据映射。数据映射成功后，...
CDH Hive数据抽样采集器
您可以通过DataWorks的数据抽样采集器功能，从CDH Hive表中随机抽取表的部分数据用于数据保护伞的敏感数据识别。如果您在数据保护伞中配置了脱敏规则，那么在数据地图表详情页面进行数据预览时，命中的敏感字段将会被脱敏。本文为您介绍...
离线同步任务调优
} } throttle 包括 true 和 false：当 throttle 设置为 true 时，表示限速，您必须设置 mbps 具体的数据值。如果没有设置 mbps，程序运行将会出错或者速率异常。当 throttle 设置为 false 时，表示不限速，则 mbps 的配置无意义。流量度量...
滑动范围选择器
当数据接口请求失败时 数据接口请求失败时（请求失败的情况可能是：网络问题或接口报错等）返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 数据响应结果...
新增和使用独享数据集成资源组
您可以使用DataWorks独享数据集成资源组功能，为数据集成同步任务分配独立的计算资源，从而提高任务的执行效率和稳定性。购买独享资源组后，在实际使用前您还需进行网络绑定、白名单等配置操作。本文为您介绍从购买至使用独享数据集成资源...
文档修订记录
创建数仓分层 配置及使用数仓分层检查器 2023.3.16 新增功能 数据建模 DataWorks智能数据建模联合具备丰富行业建模经验的数据架构师，总结阿里云百万用户最全面的业务场景，结合阿里巴巴技术创新能力，提供零售电子商务、金融、制造等多个...
账号权限
在这个模型中，不同的用户被分配不同的角色，每个角色拥有一定的权限，而用户则根据其需要的操作被分配到相应的角色中。这种方式可以有效地控制用户的权限，保证数据库的安全性。目前，数据库提供了两种角色供用户使用：高权限用户和普通...
账号权限
在这个模型中，不同的用户被分配不同的角色，每个角色拥有一定的权限，而用户则根据其需要的操作被分配到相应的角色中。这种方式可以有效地控制用户的权限，保证数据库的安全性。目前，数据库提供了两种角色供用户使用：高权限用户和普通...
级联选择器
图表样式 级联选择器是控件组件的一种，可以作为级联表单在可视化应用中使用，将用户选择的数据提交到后端进行处理或者通过交互配置，在其他组件上显示用户选择的内容。配置面板 搜索配置：单击 配置 面板右上角的 搜索配置，可在 搜索配置...
查询报错问题
查询报错 QUERY_EXCEED_LIMIT ErrMsg:groups 100000001 exceed limit=>10000000 用户在执行SQL查询用limit处理分页时，如果start值限制10000无法获取10000以后的数据，如：LIMIT 1000000,20。分析型数据库MySQL版对分页数量有限制，即查询...
交叉透视表
过滤器 打开 过滤器，选择已创建的数据过滤器或新建数据过滤器，并配置数据过滤器脚本，实现数据的筛选功能。详情请参见 管理数据过滤器。数据响应结果 实时展示了组件所使用的数据。当组件数据源发生变化时，数据响应结果会对应展示最新的...
管理过滤器
本文介绍过滤器的详细使用方法，包括新建过滤器、添加过滤器和排序过滤器等。前提条件 已登录DataV控制台 已进入画布编辑器页面 新建过滤器 您可以通过以下两种方法新建过滤器。通过 过滤器>过滤器 新建。在左侧导航栏，单击 过滤器，进入...
管理过滤器
本文介绍过滤器的详细使用方法，包括新建过滤器、添加过滤器和排序过滤器等。前提条件 已登录DataV控制台 已进入画布编辑器页面 新建过滤器 您可以通过以下两种方法新建过滤器。通过 过滤器>过滤器 新建。在左侧导航栏，单击 过滤器，进入...
开发前准备：绑定数据源或集群
若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发（DataStudio）模块。绑定后，才可读取数据源或集群中的数据，并进行相关开发操作。前提条件 您需根据后续要开发和调度...
MySQL只读实例简介
为了实现读取能力的弹性扩展，分担数据库压力，您可以创建一个或多个只读实例，利用只读实例满足大量的数据库读取需求，增加应用的吞吐量。其他引擎只读实例请参见：SQL Server只读实例简介 PostgreSQL只读实例简介 简介 创建只读实例时会...
- 产品推荐
- 这些文档可能帮助您