快速构建实时抓取集群
http://HdhCmsTestsearchtb测试数据/2011/07/%E5%BF%AB%E9%80%9F%E6%9E%84%E5%BB%BA%E5%AE%9E%E6%97%B6%E6%8A%93%E5%8F%96%E9%9B%86%E7%BE%A4.html#comment-565
您的评论正在等待审核。
有几个疑问请教一下：
1）mysql的平行扩展是指什么，分库分表吗，上层的抽取后的储存要指定储存到特定的表吗比如table01,table02，这里要做master-slave的读写分离的群吗
是不是可以考虑mongodb
2）url的排重是使redis来作吗？有没有考虑bloomfilter
3)任务的定时的调度是如何实现的
4）这是一个方案还是已经实现了
回复
留言
声明：本文来自网络，不代表【好得很程序员自学网】立场，转载请注明出处：http://www.haodehen.cn/did43044