图层配置项说明
数据图元组件、栅格瓦片、地形瓦片、三维瓦片 和 其他：在这五个类型图层数据面板中，数据配置和普通图表组件一致，可配置静态数据源、API数据源和空间构建数据源内容，还可将图层数据接口作为区块数据接口，在可视化应用中配置更丰富的...
图层配置项说明
数据图元组件、栅格瓦片、地形瓦片、三维瓦片 和 其他：在这五个类型图层数据面板中，数据配置和普通图表组件一致，可配置静态数据源、API数据源和空间构建数据源内容，还可将图层数据接口作为区块数据接口，在可视化应用中配置更丰富的...
划分数据域
在划分数据域时，既能涵盖当前所有的业务需求，又能让新业务在进入时可以被包含进已有的数据域或扩展新的数据域。数据域的划分工作可以在业务调研之后进行，需要分析各个业务模块中有哪些业务活动。数据域可以按照用户企业的部门划分，也...
S3M BIM
在面板下方的 数据项目 下拉列表中，选择一个空间构建平台内已有的数据项目。选择完数据项目后，在 数据集 下拉列表中，选择一个匹配的数据。说明 如果 数据项目 和 数据集 配置项内没有任何可供配置数据类型的内容，请您单击面板内 前往...
S3M管网
在面板下方的 数据项目 下拉列表中，选择一个空间构建平台内已有的数据项目。选择完数据项目后，在 数据集 下拉列表中，选择一个匹配的数据。说明 如果 数据项目 和 数据集 配置项内没有任何可供配置数据类型的内容，请您单击面板内 前往...
路况层
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据结果 展示数据请求的响应结果。当数据源发生改变时，可单击右侧的 图标，实时查看...
超图REST栅格瓦片
在面板下方的 数据项目 下拉列表中，选择一个空间构建平台内已有的数据项目。选择完数据项目后，在 数据集 下拉列表中，选择一个匹配的数据。说明 如果 数据项目 和 数据集 配置项内没有任何可供配置数据类型的内容，请您单击面板内 前往...
路况层
在面板下方的 数据项目 下拉列表中，选择一个空间构建平台内已有的数据项目。选择完数据项目后，在 数据集 下拉列表中，选择一个匹配的数据。说明 如果 数据项目 和 数据集 配置项内没有任何可供配置数据类型的内容，请您单击面板内 前往...
什么是EMR on ACK
EMR on ACK优势 优势 描述 节省成本 您无需为大数据服务单独购买ACK集群，通过简单的配置即可在已有的ACK集群上执行大数据作业，成本低廉。复用现有ACK集群的空闲资源，一键执行EMR Spark和Presto等任务，轻松上手。大数据和在线应用程序...
登录数据库
当您需要登录数据库或需要切换其他数据库账号时，可参考本文登录目标数据库。...导出数据库中已有的数据。具体操作，请参见 数据库导出。创建数据库。具体操作，请参见 数据库管理。登录数据库的相关问题，请参见 登录数据库。
步骤二：实时项目规划
本文将指导您完成本教程的Ververica Flink计算源、数据源、实时项目的创建与绑定。步骤一：创建 Ververica Flink 计算源 在Dataphin首页，单击顶部菜单栏的 规划。按照下图操作指引，进入 Ververica Flink新建计算源 页面。在 新建计算源 ...
步骤二：实时项目规划
本文将指导您完成本教程的Ververica Flink计算源、数据源、实时项目的创建与绑定。步骤一：创建 Ververica Flink 计算源 在Dataphin首页，单击顶部菜单栏的 规划。按照下图操作指引，进入 Ververica Flink新建计算源 页面。在 新建计算源 ...
面临的业务挑战
数据来源上包含数据库数据、日志数据、对象数据以及已有数仓上的存量数据等。这些不同来源、不同格式的数据，各自又有不同的访问和分析方式，而大量传统企业基于关系数据库构建自己的业务系统，已经非常熟悉按SQL的方式去使用数据，这无疑...
通过自定义模型识别
说明 如果模型训练的评估结果准确率达不到100%，则投入上线使用识别的数据可能会有较大误差。建议您增加样本数据，重新训练模型，直至准确率达到100%后再投入上线使用。单击 确定创建，完成当前规则模型的创建。后续步骤 成功创建规则模型...
数据格式描述文件
batch：是 realtime：否 ioConfig 第二部分ioConfig描述了数据来源。以下是一个Hadoop索引的例子。{"type":"hadoop","inputSpec":{"type":"static","paths":"hdfs:/emr-header-1.cluster-6789:9000/druid/quickstart/wikiticker-2015-09-16...
离线同步并发和限流之间的关系
同步速率：数据同步速率和任务期望最大并发数是比较强相关的参数，两者结合在一起可以保护数据来源和数据去向端的读写压力，以避免数据同步任务对数据源带来较大压力，影响数据源的稳定性。同步速率（不限流）是指按照用户配置的任务期望...
东软案例
东软基于Lindorm打造，面向政企互联网化数字信息系统运维监控场景的新一代IT智能运维系统部署架构如下图所示，其中Lindorm作为核心运维数据存储、检索引擎全量接收来自移动终端、网络嗅探器、业务监控探针、日志采集器等多种数据来源实时...
EMR Hive数据整库离线同步至MaxCompute
配置数据来源与去向 配置数据来源：Hive侧参数 配置离线同步节点的数据来源相关参数。本实践将Hive数据整库离线同步至MaxCompute，数据来源为Hive表，配置要点如下所示。配置项 配置要点 数据源 选择上述新建的Hive数据源。表 选择待同步的...
EMR Hive数据整库离线同步至MaxCompute
配置数据来源与去向 配置数据来源：Hive侧参数 配置离线同步节点的数据来源相关参数。本实践将Hive数据整库离线同步至MaxCompute，数据来源为Hive表，配置要点如下所示。配置项 配置要点 数据源 选择上述新建的Hive数据源。表 选择待同步的...
合规&认证
用户应对业务数据来源、内容及处理数据的合法性负责，请谨慎判断数据来源、内容及处理数据的合法性，依法获得处理此类数据所需的个人同意或政府部门许可、备案或评估。因用户业务数据的来源、内容及对用户业务数据的处理活动违反法律法规、...
通过向导模式配置离线同步任务
数据集成提供向导式的开发引导，您无需编写任何代码，通过在界面勾选数据来源与去向，并结合DataWorks调度参数，实现将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍向导模式配置离线同步任务的常规配置，各...
基于Delta lake的一站式数据湖构建与分析实战
数据湖作为一个集中化的数据存储仓库，支持的数据类型具有多样性，包括结构化、半结构化以及非结构化的数据，数据来源上包含数据库数据、binglog 增量数据、日志数据以及已有数仓上的存量数据等。数据湖能够将这些不同来源、不同格式的数据...
离线同步数据质量排查
如果写出数据和目标存储已有数据发生数据约束（主键冲突、唯一键约束、外键约束等），数据库则使用来源数据update更新目标表已有数据行，在目标表存在多个数据约束的情况下，数据替换可能会失败并产生脏数据 如果写出数据和目标存储已有...
采集数据
数据来源：数据来源选择 OSS，数据源名称选择 oss_workshop_log，即 步骤二：创建数据源 中新建的OSS数据源。我的资源组：选择 购买的独享数据集成资源组。数据去向：数据去向选择 MaxCompute，然后选择对应数据源名称。2、配置同步任务 ...
采集数据
数据来源：数据来源选择 OSS，数据源名称选择 oss_workshop_log，即 步骤二：创建数据源 中新建的OSS数据源。我的资源组：选择 购买的独享数据集成资源组。数据去向：数据去向选择 MaxCompute，数据源名称选择 odps_first。说明 工作空间...
导入概述
您可以根据不同的数据来源选择不同的导入方式：离线数据导入：如果数据源是Hive或HDFS，推荐使用 Broker Load。如果数据表很多导入比较麻烦可以使用Hive外表，性能会比Broker load导入效果差，但是可以避免数据搬迁。如果单表的数据量特别...
MySQL分库分表同步至Hologres（方案1.0）
字段：目标表在原有表结构基础上，增加src_datasource、src_database、src_table字段用于记录源端表数据来源。综合如上分析结果，最终的表对应关系如下所示：源端分库 源端待同步表 写入的目标表 目标表新增字段 order_db01 t_order_01 cdo...
敏感数据保护概览
如果您有对敏感数据进行管控和脱敏的需求，可以使用 数据管理DMS 的敏感数据保护功能对数据库进行扫描，识别、脱敏和管理敏感数据。背景信息 通过敏感数据保护功能，可帮助企业及时有效地发现与识别敏感数据资产，避免敏感数据滥用，有效...
技术发展趋势
近些年来，数据在国民经济各个领域扮演着愈发重要的作用，其使用特点较之以往也发生了诸多变化，其趋势主要有几个方面。规模爆炸性增长 随着8K、5G、IoT、大数据、AI等系列技术的发展，数据量迎来了爆发式增长。IDC在《Data Age 2025》的...
导入概述
您可以根据不同的数据来源选择不同的导入方式：离线数据导入：如果数据源是Hive或HDFS，推荐使用 Broker Load。如果数据表很多导入比较麻烦可以使用Hive外表，性能会比Broker load导入效果差，但是可以避免数据搬迁。实时数据导入：日志...
概述
AnalyticDB PostgreSQL版 向量分析可以通过AI算法提取非结构化数据的特征，并利用特征向量作为非结构化数据的唯一标识，帮您快速且低成本地实现对非结构化数据检索和对结构化数据关联分析。向量数据库简介 在现实世界中，绝大多数的数据都...
如何设计时序数据表
时序数据示例 时序数据建模至关重要，需要仔细分析数据来源的特性和查询的场景，建立合理的数据表，以便达到最佳的存储和查询性能。以下图的空气检测数据为例：每个时间点对应的数据记录可以详细分为几个部分：表（Table）：代表一系列同类...
阶段一：基础防护建设
在该阶段，DataWorks为您提供了数据分类分级、规范数据开发流程、企业级身份认证、开源身份隔离等多个场景的最佳实践，帮助企业做好数据安全治理的相关基础防护工作。场景一：数据分级分类 无论在任何行业，数据分级分类都是监管首要检查的...
MySQL分库分表同步至Hologres（方案2.0）
字段：目标表在原有表结构基础上，增加src_datasource、src_database、src_table字段用于记录源端表数据来源。综合如上分析结果，最终的表对应关系如下所示：源端分库 源端待同步表 写入的目标表 目标表新增字段 order_db01 t_order_01 cdo...
新建事实逻辑表
度量是数值类型的字段，表示某个方面的大小、多少或者程度。本文为您介绍如何新建及配置事实逻辑表。使用限制 若您未购买 数据标准 模块，不支持设置表中的 数据标准 字段。若您未购买 资产安全 模块，不支持设置表中的 数据分级、数据分类...
新建事实逻辑表
度量是数值类型的字段，表示某个方面的大小、多少或者程度。本文为您介绍如何新建及配置事实逻辑表。使用限制 若您未购买 数据标准 模块，不支持设置表中的 数据标准 字段。若您未购买 资产安全 模块，不支持设置表中的 数据分级、数据分类...
新建普通维度逻辑表
普通维度逻辑表用于描述实体对象，包含对实体对象的各方面描述。例如会员普通维度逻辑表，包含会员名称、会员ID、会员邮件等数据。本文为您介绍如何创建并配置普通维度逻辑表。使用限制 若您未购买 数据标准 模块，不支持设置表中的 数据...
新建普通维度逻辑表
普通维度逻辑表用于描述实体对象，包含对实体对象的各方面描述。例如会员普通维度逻辑表，包含会员名称、会员ID、会员邮件等数据。本文为您介绍如何创建并配置普通维度逻辑表。使用限制 若您未购买 数据标准 模块，不支持设置表中的 数据...
什么是MaxCompute
MaxCompute是适用于数据分析场景的企业级SaaS（Software as a Service）模式云数据仓库，以Serverless架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，使您可以经济并高效...
Napatech案例
基于Lindorm的解决方案，用户在采用到100Gbps+流量产生的大量数据包元数据直接通过Lindorm存储，在数据的存储和索引性能方面得到极大的提升，同时也极大地降低整个系统的运维成本。客户价值 支持多个100G数据流量采集点的数据包元数据存储...
- 产品推荐
- 这些文档可能帮助您