百万数据量 mysql 模糊搜索提速
在 mysql 中，当数据量达到百万级时，执行模糊查询可能会变得非常缓慢。本文提供的解决方案无需借助第三方中间件，即可在 512m 的 java 堆内存限制下显着提升模糊搜索的速度。
基于索引表的方案
创建一个索引表，包含三列："当前词"、"下一词"和"原记录主键 id"。其中，"当前词"和"下一词"表示搜索关键词中的连续单词，"原记录主键 id"指向满足条件的原始记录。
索引表结构
| 当前词 | 下一词 | 原记录主键 id |
|---|---|---|
| mysql | 一 | 1 |
| 一 | 千 | 1 |
| 千 | 万 | 1 |
| 万 | 的 | 1 |
| ... | ... | ... |
| 模 | 糊 | 1 |
| 糊 | 搜 | 1 |
| 搜 | 索 | 1 |
| 索 | null | 1 |
搜索算法
搜索关键词时，按顺序查询索引表，获得满足每个单词条件的原记录id。然后使用这些 id 在原始表中查找匹配记录。
例：搜索“模糊搜索”
SELECT 原记录主键ID FROM (SELECT 原记录主键ID FROM 索引表 WHERE 当前词 = '模' AND 下一词 = '糊') JOIN (SELECT 原记录主键ID FROM 索引表 WHERE 当前词 = '糊' AND 下一词 = '搜') USING(原记录主键ID) JOIN (SELECT 原记录主键ID FROM 索引表 WHERE 当前词 = '搜' AND 下一词 = '索') USING(原记录主键ID) JOIN (SELECT 原记录主键ID FROM 索引表 WHERE 当前词 = '索' AND 下一词 IS NULL) USING(原记录主键ID)登录后复制
jvm 优化
为了充分利用有限的内存，建议使用如下的jvm 优化技术：
- 缩小永久代尺寸
- 设置metaspace 垃圾回收参数（-xx:metaspacesize、-xx:maxmetaspacesize）
- 使用压缩引用和指针
- 启用分代垃圾回收
以上就是百万数据量 MySQL 模糊搜索提速：如何在 512M 内存限制下优化查询速度？的详细内容，更多请关注慧达安全导航其它相关文章！
免责 声明
1、本网站名称：慧达安全导航
2、本站永久网址：https//www.huida178.com/
3、本站所有资源来源于网友投稿和高价购买，所有资源仅对编程人员及源代码爱好者开放下载做参考和研究及学习，本站不提供任何技术服务!
4、本站所有资源的属示图片和信息不代表本站的立场!本站只是储蓄平台及搬运
5、下载者禁止在服务器和虚拟机下进行搭建运营，本站所有资源不支持联网运行!只允许调试，参考和研究!!!!
6、未经原版权作者许可禁止用于任何商业环境，任何人不得擅作它用，下载者不得用于违反国家法律，否则发生的一切法律后果自行承担!
7、为尊重作者版权，请在下载24小时内删除!请购买原版授权作品，支持你喜欢的作者，谢谢!
8.若资源侵犯了您的合法权益，请持 您的版权证书和相关原作品信息来信通知我们！QQ：1247526623我们会及时删除，给您带来的不便，我们深表歉意!
9、如下载链接失效、广告或者压缩包问题请联系站长处理
10、如果你也有好源码或者教程，可以发布到网站，分享有金币奖励和额外收入!
11、本站资源售价只是赞助，收取费用仅维持本站的日常运营所需
12、因源码具有可复制性，一经赞助，不得以任何形式退款。
13、本文内容由网友自发贡献和站长收集，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系1247526623@qq.com
转载请注明出处： 慧达安全导航 » 百万数据量 MySQL 模糊搜索提速：如何在 512M 内存限制下优化查询速度？
发表评论 取消回复