活字格性能优化技巧(2)-如何在大规模数据量的场景下提升数据访问效率

活字,性能,优化,技巧,如何,大规模,数据量,场景,提升,数据,访问,效率 · 浏览次数 : 290

小编点评

**提升数据访问效率的方法** **引言** 在大型数据场景下,数据访问效率至关重要。本文将探讨如何在数据库中提高访问效率的方法,以应对大规模数据的挑战。 **1. 使用数据库主键提升访问性能** 数据库主键是标识每个记录的唯一标识符。在无主键情况下,数据库需要为每个记录生成一个主键,这会增加存储空间和查询延迟。 **2. 使用活字格优化数据访问** 活字格是一种在数据库中预先存储和缓存数据的功能。当您访问数据库时,活字格会快速读取数据并将其返回给您。 **3. 设置默认不加载数据** 当您没有需要的数据时,您可以使用“默认不加载数据”选项来节省存储空间。在下次访问时,该选项会快速加载数据。 **4. 使用VLOOKUP函数提高数据查询效率** VLOOKUP函数是一种用于查找数据表中匹配特定值的函数。在大型数据场景下,VLOOKUP函数可以非常有效地提高数据查询效率。 **5. 总结** 通过使用数据库主键,活字格和设置默认不加载数据,您可以有效地提升数据库访问效率。此外,使用VLOOKUP函数可以进一步提高数据查询效率。

正文

本文由葡萄城技术团队于博客园原创并首发
转载请注明出处:葡萄城官网,葡萄城为开发者提供专业的开发工具、解决方案和服务,赋能开发者。

在上节内容中我们介绍了如何利用数据库主键提升访问性能,本节内容我们继续为大家介绍如何在大规模数据量的场景下提升数据访问效率。

在开始之前先做个小小的实验:

1. 准备一张数据表,内置1000W行记录。

2. 直观感受一下这个表的规模。使用MSSQL对其进行查询,足足花了8秒钟的时间才获取到表的总行数。

 

(在MSSQL中获取数据表的总行数)

3. 将这个数据表连接到活字格中,来监测一组数据:

(连接到活字格设计器)

(1)设计器性能
通过设计器读取数据表中的字段,直接就能展开,性能符合预期。

(在设计器中读取数据表中的数据)

但当尝试在活字格中双击打开这个表的时候,结果如下:

那么活字格是如何保证在设计器中能够优雅的打开这么多的数据呢?原来秘密武器在这里。在设计器的【设置】菜单->【应用程序设置】->【启动页面】在有一个【在设计器中显示外联表数据量最大行数】的栏位,合理设置这个数值,就可以解决这个问题。

(设置外联表数据量最大行数)

【备注】默认情况下,活字格默认设置的是无限制加载数据,但当数据表的规模非常大的时候,建议大家一定要设置合理的显示行数。这样做的缺点是无法在设计器中查看到数据表中全部的数据。
(2)浏览器性能
如果将数据表格绑定到页面在浏览器中进行访问的时候,浏览器会默认将所有的数据显示出来。可想而知,对于1000W行数据,您会看到如下的运行效果。

(通过浏览器之间访问大规模数据表)

那么该如何处理呢?在活字格中,可以通过设置默认加载合理的表格数据来解决这个问题。如下图所示:

(设置表格加载行数)

设置之后,数据就可以快速打开。

(在活字格中显示表格数据)


(3)更多复杂应用场景
以上两种方法能够解决简单场景的问题,但是在实际的应用中会涉及到很多复杂的场景。比如需要在表A中维护一些信息,然后将A表关联至该数据表中。或在下图中表格2中的 A 列填入数据,然后在B列显示通过A列关联出来数据该数据就是文中所说的1000W行数据表中的值。

(数据管理示例)

在这种情况下,使用活字格提供的——“默认不加载数据”是最好的方式。
右键【表格设置】->【设置默认不加载数据】,如下图所示:

(表格设置示例)

(设置为默认不加载数据)

为了完成上述的示例,可以设置一个textjoin函数,将用户正在录入的表格中的数据串起来。当单元格为空的时候,右侧的表格会显示全部数据。为了避免数据为空,可以在函数外侧进行判断,当为空时,结果显示-1。

(设置关联函数)

最后,再使用Vlookup函数就可以达到预期的效果。

(数据查询)

点击加载数据,页面会快速打开,并且能够正常加载数据。

(结果展示)

至此,我们就掌握了通过表格设置默认不加载数据来提升性能的方法。相信大家将这些小的技巧应用到您的系统开发中,一定能提升系统的访问性能。

当然,可能有些小伙伴会问,上述的例子直接使用ODATA就行了,干嘛非要加载这个表呢?
Odata自然也是可以的,但是不要忘了Odata和Vlookup的抉择问题
如果是这样的话,是不是Vlookup就需要了?那么如果设置了只加载100行,万一真的有100多行需要Vlookup怎么办呢?更多的问题留给大家去思考。

拓展阅读

远离勒索病毒,如何在Linux上安装活字格低代码服务管理器?

万物皆可集成系列:低代码对接微信小程序

万物皆可集成系列:低代码对接Web Service接口

 

与活字格性能优化技巧(2)-如何在大规模数据量的场景下提升数据访问效率相似的内容:

活字格性能优化技巧(2)-如何在大规模数据量的场景下提升数据访问效率

本文由葡萄城技术团队于博客园原创并首发转载请注明出处:葡萄城官网,葡萄城为开发者提供专业的开发工具、解决方案和服务,赋能开发者。 在上节内容中我们介绍了如何利用数据库主键提升访问性能,本节内容我们继续为大家介绍如何在大规模数据量的场景下提升数据访问效率。 在开始之前先做个小小的实验: 1. 准备一张

活字格性能优化技巧(1)——如何利用数据库主键提升访问性能

本文由葡萄城技术团队于博客园原创并首发转载请注明出处:葡萄城官网,葡萄城为开发者提供专业的开发工具、解决方案和服务,赋能开发者。 大家都知道,活字格作为企业级低代码开发平台,拥有6大引擎,3大能力,能够高效落地企业级应用。在每年的应用大赛中也能看到很多格友利用活字格做了很多复杂的应用,例如2021年

活字格性能优化技巧(3):如何巧用CDN提升含页面的访问速度

本文由葡萄城技术团队于博客园原创并首发转载请注明出处:葡萄城官网,葡萄城为开发者提供专业的开发工具、解决方案和服务,赋能开发者。 上两篇中我们分享了如何利用数据库主键和表格设置默认不加载数据来提升应用系统访问的性能。在本篇中一起来看看如何在活字格中利用CDN技术来提升页面的访问速度。在此之前,先看看

不只是负载均衡,活字格智能集群的架构与搭建方案

还在单机服务器,时刻面临宕机风险吗? 优化程度不够,响应速度缓慢,系统工作响应像老汉拉车吗? 为了帮助大家具备企业级应用的部署能力,轻松应对核心业务系统的部署要求,我们准备了《活字格智能集群的架构与搭建方案》高级教程。 作为一款优秀的企业级低代码开发平台,活字格除了本身开发集成的强大功能之外,负载均

万物皆可集成系列:低代码对接Web Service接口

我们知道活字格支持不写代码实现双向API绑定,那么没那么主流的Web Service接口(SOAP协议+XML交互格式)呢?其实对接的思路没有那么复杂,得用C#编码来对接的。 作为一款企业级低代码开发平台,活字格可以和许多第三方软硬件进行集成,灵活、高效使它不可忽视的优势。在之前的内容中我们已经介绍

远离勒索病毒,如何在Linux上安装活字格低代码服务管理器?

本文由葡萄城技术团队于博客园原创并首发 转载请注明出处:葡萄城官网,葡萄城为开发者提供专业的开发工具、解决方案和服务,赋能开发者。 活字格低代码开发平台由可视化设计器和服务管理器构成,开发者使用设计器构建Web应用,测试无误后即可将应用进行打包,并发布到服务管理器上。服务管理器会加载设计器发布的应用

ChatGPT赋能低代码开发:打造智能应用的双重引擎

摘要:本文摘自葡萄城低代码产品活字格的资深用户(格友超哥)所撰写的文章:《惊叹表现!活字格+ChatGPT:低代码开发智能应用的巨大潜力》。 ChatGPT的functions函数使用方 自从OPENAI发布了最新的GPT引擎gpt-3.5-turbo-0613之后,我就对它的functions参数

万物皆可集成系列:低代码对接阿里物流API实现快递跟踪

随着各大电商网购平台的发展,快递业已形成一个规模庞大的产业,据统计,全球快递企业已超过千家,而快递查询对于电商平台而言是最基础的功能之一,通过输入快递单号,不用区分具体是哪家快递公司,即可查询到快递的实时状态。目前的主流方法都是调用第三方快递查询接口,下面就介绍一下在活字格中如何调用API接口来进行

集群部署看过来,低代码@AWS智能集群的架构与搭建方案

为了帮助充分利用AWS的托管服务快速构建起一套集群环境,彻底去掉“单一故障点”,实现最高的可用性,我们准备了**《低代码智能集群@AWS的架构与搭建方案》**看完本文,带你掌握“基于nginx配置服务器集群”。 应用场景 如果你需要解决如下的问题,可以考虑搭建一套活字格@AWS智能集群: 保障系统高

[转帖]3.3.6. 活跃会话历史报告SYS_KSH

https://help.kingbase.com.cn/v8/perfor/performance-optimization/performance-optimization-6.html#sys-ksh sys_stat_activity 里记录的等待事件是瞬时信息,没有对等待事件的时间进行累计