使用多线程压缩提高全量索引切换速度

来源:转载


目前全量索引约22G,花费约1个小时的时间,indexer做完之后放在ftp,searcher同时下载,下载完成之后切换索引,切换索引本身只花费1分钟左右的warmup时间,但下载由于机房带宽总共250M的限制(12台searcher),需要大约20分钟的时间。使用gzip对索引压缩就要花费22分钟时间,而使用ftp z mode压缩,本身也是调用单线程zlib,不会比22分钟更快。看到一个smp时代的压缩工具--pigz(http://www.zlib.net/pigz),感觉比较靠谱,可以看到20个线程,大约2-3分钟就完成压缩,searcher端单线程下载,解压就可以满足要求了。



分享给朋友:
您可能感兴趣的文章:
随机阅读: