您的位置: 首页 > 技术文档 > 网络编程 > 数据同步算法研究
vs 2010 web部署 回到列表 25个最佳最闪亮的Eclipse开发项目
 数据同步算法研究

作者:刘爱贵 时间: 2010-08-12 文档类型:转载 来自:CSDN

第 1 页 数据同步算法研究 [1]
第 2 页 数据同步算法研究 [2]
第 3 页 数据同步算法研究 [3]
第 4 页 数据同步算法研究 [4]

滑动块算法结合了定长切分和CDC切分的优点,块大小固定。它对定长数据块先计算弱校验值,如果匹配则再计算md5强校验值,两者都匹配则认为是一个数据块边界。该数据块前面的数据碎片也是一个数据块,它是不定长的。如果滑动窗口移过一个块大小的距离仍无法匹配,则也认定为一个数据块边界。滑动块算法对插入和删除问题处理非常高效,并且能够检测到比CDC更多的冗余数据,它的不足是容易产生数据碎片。

6、差异编码

差异编码的基础是文件B数据分块信息和文件A,它首先对文件A进行对等数据分块(滑动块算法除外,它对文件B的切分是定长算法,而对文件A是滑动块算法),然后匹配文件B数据分块信息。如果数据块匹配,则用数据块索引表示,达到重复数据删除效果。否则,则将对应的文件A数据块写入差异编码文件中。数据块匹配算法方面,定长切分和CDC切分是基本相同,文件A采用和文件B对等的切分算法进行数据块切分。滑动块算法与其他两种算法不同,它与rsync类似,它对文件B的切分是定长算法,而对文件A的切分是滑动块算法。因此,这种算法切分是不对等的。

然后根据文件B构造hashtable,通过hash查找进行匹配,并按照差异编码数据布局构造相应数据文件。

7、文件同步

Beta得到差异编码文件delta,再结合已有的文件B,即可以将文件B同步成文件A的副本。同步算法遍历delta文件,读取每一个数据块描述实体,根据embeded标志分别从delta和文件B中读取相应的数据块,重新构造出文件A。

8、PULL与PUSH模式

数据同步有PULL和PUSH两种应用模式,PULL是将远程数据同步到本地,而PUSH是将本地数据同步到远程。对应到同步算法,主要区别在于数据分块和差异编码位置不同。PULL和PUSH同步模式步骤分别如下所述。

PULL同步模式流程

1、本地对文件A进行数据切分,生成数据块描述文件chunk;

2、上传chunk文件至远程服务器;

3、远程服务器对文件B进行差异编码,生成差异编码文件delta;

4、下载delta文件至本地;

5、本地同步文件A至文件B,相当于下载文件B到本地文件A。

PUSH同步模式流程

1、远程服务器对文件B进行数据切分,生成数据块描述文件chunk;

2、下载chunk文件至本地;

3、本地对文件A进行差异编码,生成差异编码文件delta;

4、上传delta文件至远程服务器;

5、远程同步文件B到A,相当于上传文件A到远程文件B。

转载:http://blog.csdn.net/liuben/archive/2010/08/06/5793706.aspx

本文链接:http://www.blueidea.com/tech/program/2010/7878.asp 

出处:CSDN
责任编辑:bluehearts

上一页 数据同步算法研究 [3] 下一页

◎进入论坛网络编程版块参加讨论

关键字搜索 常规搜索 推荐文档
热门搜索:CSS Fireworks 设计比赛 网页制作 web标准 用户体验 UE photoshop Dreamweaver Studio8 Flash 手绘 CG
站点最新 站点最新列表
周大福“敬•自然”设计大赛开启
国际体验设计大会7月将在京举行
中国国防科技信息中心标志征集
云计算如何让安全问题可控
云计算是多数企业唯一拥抱互联网的机会
阿里行云
云手机年终巨献,送礼标配299起
阿里巴巴CTO王坚的"云和互联网观"
1499元买真八核 云OS双蛋大促
首届COCO桌面手机主题设计大赛
栏目最新 栏目最新列表
浅谈JavaScript编程语言的编码规范
如何在illustrator中绘制台历
Ps简单绘制一个可爱的铅笔图标
数据同步算法研究
用ps作简单的作品展示页面
CSS定位机制之一:普通流
25个最佳最闪亮的Eclipse开发项目
Illustrator中制作针线缝制文字效果
Photoshop制作印刷凹凸字体
VS2010中创建自定义SQL Rule
>> 分页 首页 前页 后页 尾页 页次:4/41个记录/页 转到 页 共4个记录

蓝色理想版权申明:除部分特别声明不要转载,或者授权我站独家播发的文章外,大家可以自由转载我站点的原创文章,但原作者和来自我站的链接必须保留(非我站原创的,按照原来自一节,自行链接)。文章版权归我站和作者共有。

转载要求:转载之图片、文件,链接请不要盗链到本站,且不准打上各自站点的水印,亦不能抹去我站点水印。

特别注意:本站所提供的摄影照片,插画,设计作品,如需使用,请与原作者联系,版权归原作者所有,文章若有侵犯作者版权,请与我们联系,我们将立即删除修改。

您的评论
用户名:  口令:
说明:输入正确的用户名和密码才能参与评论。如果您不是本站会员,你可以注册 为本站会员。
注意:文章中的链接、内容等需要修改的错误,请用报告错误,以利文档及时修改。
不评分 1 2 3 4 5
注意:请不要在评论中含与内容无关的广告链接,违者封ID
请您注意:
·不良评论请用报告管理员,以利管理员及时删除。
·尊重网上道德,遵守中华人民共和国的各项有关法律法规
·承担一切因您的行为而直接或间接导致的民事或刑事法律责任
·本站评论管理人员有权保留或删除其管辖评论中的任意内容
·您在本站发表的作品,本站有权在网站内转载或引用
·参与本评论即表明您已经阅读并接受上述条款
推荐文档 | 打印文档 | 评论文档 | 报告错误  
专业书推荐 更多内容
网站可用性测试及优化指南
《写给大家看的色彩书1》
《跟我去香港》
众妙之门—网站UI 设计之道
《Flex 4.0 RIA开发宝典》
《赢在设计》
犀利开发—jQuery内核详解与实践
作品集 更多内容

杂⑦杂⑧ Gold NORMANA V2