面向互联网应用的大规模数据实时查询优化方法研究

沙梦钒¹，徐兰梅²，滕庆勇^1,3，王小林^1,2

1. 安徽工业大学信息技术研究院2. 安徽工业大学计算机科学与技术学院3. 马鞍山学院

摘 要：JSON通常被广泛应用于服务器与客户端浏览器之间的数据交互。某些场景下,由于客户端请求数据量过大,会导致服务器运算时间及网络传输时间加长,严重影响用户体验。针对此问题,提出了一种数据压缩、数据缓存及分页传输的优化处理策略,查询数据库的数据缓存至服务器内存中,在相同的查询条件下不再查询数据库而是通过读取内存数据库Redis直接调取数据,并通过Gzip将数据压缩之后再通过分页方法,每次仅传输数据量的一部分到客户端浏览器。通过真实金融大规模数据集进行方法验证,结果表明,该方法能提高了45%以上的查询效率,有效地改善用户体验。

关键词：数据压缩;缓存;内存数据库;分页;