1 Go版本
1.1 新版本特点
- 完全使用go进行分词,摒弃node.js分词
- 加入sego分词,使用双分词优化质量,同时优化分词速度
- 加入增量分词机制(使用MD5检测是否相同),解决未改动的文章重复分词现象
- 支持上传索引时使用http代理
- 支持使用自定义分词字典,自定义停用词
1.2 效果对比
100多篇文章情况下
老版本速度
participles success: 22392 ms
generate algolia index success: 1 ms
新版本速度
participles success: 180 ms
generate algolia index success: 2 ms
generate algolia index num: 13009