» 您尚未登录:请 登录 | 注册 | 标签 | 帮助 | 小黑屋 |


 16 12
发新话题
打印

用Syncthing感觉还是有些吃力,准备换同步软件了【2月7日更新下心得】

posted by wap, platform: GOOGLE Nexus 4
===== 2月7日第第二版 =====
Syncthing最近出了点问题:
1、就是明明文件夹没问题,就是不同步,老报错,看了他们支持论坛也解决不了,把本地目录清空删除后重新添加同步也不行,家里的PC和服务器同步就没事;
2、就是明明修改了文件,但是服务器上就是同步不过去,还说已经同步了,明明本地和服务器文件不一样,睁眼说瞎话嘛。

所以铁心要换,首先是FreeFileSync,为了偷懒以下简称FFS。这玩意如果不赞助,就是个流氓软件,因为会装一个Chromium浏览器和一个杀毒的玩意,赞助了……好像也不能卸载,算了,不是大问题。为了测试,我掏出1美元捐助获得了为期几十天的正式版用户,一番下来发现用起来还成,但是我测试的时候,尝试过用一个有无数层目录(超出Windows最大深度,导致你直接删除都删不掉的级别)的几十万个文件的文件夹同步,结果第一次20分钟就同步好了,几乎赶上我在服务器本地拷贝的速度了,大喜!结果,过一阵它说文件改变了又要同步,同步完毕以后,我已刷新对比,又说有文件变了,然后一直反复……。因为我是将Linux服务器开SSH作为SFTP方式的,可能这玩意搜索远程服务器文件不太利索。好吧,可能是我要求苛刻,但是工作需要就是有这么变态啊,这还只是一部分,你要是达不到要求我要你何用?而且这玩意还有几个缺点,稍后会提。

后来,想起我不是上次GoodSync免费送的时候撸了一个吗?于是就拿来测试。发现不错啊,FFC毛病完全没有,而且多了很多好用的功能,下面一一介绍:
1、首先,这玩意自带了定时器和本地文件变更监控,可以很方便的本地变更后自动上传到同步端去,FFC那个本地监控需要开另外一个程序,定时器就别提了,要自己写命令行然后用Windows自带的定时任务去做!
2、有手机端啊,Android/iOS都有,虽然手机端不能主动发起同步,但是可以成为一个同步端,你可以定时把指定目录的文件同步到别的地方去,我定时每天同步照片到电脑和服务器上,然后自动上传到google photos进行备份,而且可以打开备份后自动删除本地,删除本地不影响远端。
3、有账号,可以将多台设备绑定在你同一个账户上,然后账户之间就能互相同步了,相当于一个简单的P2P同步工具,不过还有待进一步测试,因为我服务器是Linux的,这玩意账号只能Win/Mac用,Linux版是另外卖的,我有空装个Windows Server的虚拟机跑看看。
4、稳定性确实比FFC强,SFTP服务器上13000多个目录,68000多个文件,和本地比对扫描一遍只要30秒。
5、CPU占用低,即使打开本地文件变更监控,后台CPU占用率一直是0%,也许我监控的目录不大?换Syncthing或者ResiliSync那常年2%~10%。

GoodSync因为是双向同步为主,有些和Syncthing这种傻瓜式打开不用管的还是有区别的,所以用了几天,觉得还可以,只是习惯可能要调整一下,所以买了3个Key,一起才260,准备笔记本、办公PC、家用PC、服务器上都装一个(手机端是不需要License授权的),过段时间再来说说

================================= 第一版 ========================
ResilioSync还在天国

Syncthing其实还是个好软件,但是有个问题,因为经常要在各种地方同步数据,有时候在低端机器上要同步点数据,那真是好久没法动弹啊,整个机器就像卡死了一样,而且长期在后台不停地检测文件改动,在我这里一台I5上经常是5%上下的CPU占用率,而且手机同步一直是个问题。

最近FreeFileSync会推出手机版,考虑切换过去,主要有一下几个优点:
1. 使用比较简单,服务器端甚至连软件都不用装,只要开ssh服务就好了;
2. 虽然是同步软件,但是有个RealTimeSync所以也可以很快的将修改的文件同步过去;
3. CPU占用低,速度快(这个我还需要同步大量细小文件进行测试,目前看来还行);
4. 即将推出手机版,期待
5. 不要钱
6. 也支持版本控制,这个很重要

本帖最后由 jun4rui 于 2018-2-7 02:21 通过手机版编辑


TOP

posted by wap, platform: GOOGLE Nexus 4
引用:
原帖由 @ddaaii  于 2018-2-1 23:43 发表
Posted by: OnePlus ONEPLUS A3000
btsync这种p2p传输的是靠什么封掉的? 这样岂不是你们用的备选软件也有被封的可能么  TGFC·NG
btsync是有中心服务器的,gfw把中心服务器墙掉就挂了……

现在用的syncthing可以没有中心服务器,而FreeFileSync是直接连IP地址或者盘符的,完全的双向同步软件。


FreeFileSync看讨论,似乎就是多点同步可能有点问题,毕竟本身就是双向同步软件,虽然有版本控制,但是还是差了一点点啊,虽然其实平时也就两点同步。OwnCloud/NextCloud功能强大,但是依赖太多,要Web服务器,要PHP和一堆模块,还要MySQL,太罗嗦了



TOP

posted by wap, platform: GOOGLE Nexus 4
引用:
原帖由 @仓木叶  于 2018-2-2 01:07 发表
Posted by: Xiaomi MI 6
nas能用吗
NAS只要开个SSH或者FTP服务就好了,连服务器端都不用装。不过这样服务器端也就不能自动查找文件变更了,只能由客户端发起同步。这也是一个比较明显的缺陷


TOP

posted by wap, platform: GOOGLE Nexus 4
FreeFileSync对大量细碎文件效率还不错,基本每秒70~150个文件左右。
而且远程SFTP上就算有几万个文件突然更新,也能在几秒内找到并开始同步。
这时候CPU占用率也很低,基本也就1%~3%,可以忽略不计。不同步的时候没有可见的CPU消耗。相比之下Syncthing基本长期在1%~10%左右晃悠(Ryzen 1700处理器)。看Syncthing论坛上有人吐槽ARM设备上跑90%~100%的CPU占用,X86虚拟机跑25%~40%的也有,没办法,不停扫描目录的原理决定了肯定了肯定不会低
速度的话,和我用E3-分配4核4G内存的服务器Linux下本地同硬盘拷贝的速度差不多了(没掐表,大概感觉,可能还略快一点)。
版本控制的话,这个的版本控制比较粗,要么回收站,要么要自己指定目录,还要自己写脚本。Syncthing可以给每个同步项设定,有5种,相当好用。

不过总的下来,除了CPU省点,别的方面还是不如Syncthing省心,毕竟那个弄好就不用管了,几乎就是实时同步,这个远程的话,SFTP端是检查不到文件更新的,只能定时更新,而定时更新需要手写Windows计划任务,这点又不如GoodSync了,但是那个要钱,还是一台电脑收一份钱的玩法,好几台的话成本就不低了。

总体来说,这个做对实时性要求不大的文件同步是很不错的,Syncthing虽然是事实,但是监视大量的目录对CPU要求还是不低的,同类的ResilioSync也是如此,长期消耗几个点的CPU,对牛逼机器来说自然不在话下,但是有些低功耗设备那真的有点吃紧。

可以考虑两者搭配使用,实时性要求不高的可以走这个,实时性要求高的,对版本控制要求细的,可以走Syncthing。

本帖最后由 jun4rui 于 2018-2-2 02:16 通过手机版编辑

TOP

posted by wap, platform: GOOGLE Nexus 4
更新了用FreeFileSync和GoodSync的感受,顶上来

TOP

posted by wap, platform: 小米
引用:
原帖由 @westlost  于 2018-2-7 03:13 发表
用群晖不行么?
效率太低下,已经放弃了

TOP

posted by wap, platform: GOOGLE Nexus 4
引用:
原帖由 @风来人  于 2018-2-7 12:49 发表
为什么我用syncthing没出现这个问题
可能我这情况极端点,上周特意把文件整理了一下,很多几万几十万个文件的项目重新打包成7z格式存档了,大量文件被移除,就出问题了……

TOP

posted by wap, platform: GOOGLE Nexus 4
引用:
原帖由 @风来人  于 2018-2-7 14:16 发表
服务端和客户端都用手动扫描看看
能使的招都用过了,无解,我连本地共享目录删掉重来还不行,真的醉了

而且在一台老式机器上常年磁盘100%,关掉就好

TOP

posted by wap, platform: GOOGLE Nexus 4
引用:
原帖由 @伊藤伸惠  于 2018-2-7 14:32 发表
FFC是什么软件?
FreeFileSync,一个免费的双向同步软件,和GoodSync、Rsync这种类似。但是和ResilioSync、Syncthing这种不同

TOP

posted by wap, platform: 小米
引用:
原帖由 @我不懂  于 2018-2-7 16:07 发表
要30刀,啥时候还能撸免费版?
其实淘宝只要88,知名大商,260买了3key套装。免费难说貌似以前没免费过。

主要是有p2p模式,内网穿透,同步和检索速度太快了,开后台监控文件修改很轻松。刚才我又开了syncthing,瞬间磁盘100%,妈蛋啊,机器不好真的用不起。偏偏我经常在低端机器上需要同步文件。

TOP

posted by wap, platform: GOOGLE Nexus 4
引用:
原帖由 @后藤喜一  于 2018-2-7 16:58 发表
dropbox很好用,lz为啥不用
速度慢
要科学上网
容量有限
控制弱

TOP

posted by wap, platform: GOOGLE Nexus 4
引用:
原帖由 @pimp1234  于 2018-2-7 17:30 发表
群晖最近推出了一个skyNAS。。不知道怎么样。。
没感觉什么特别的,自己搭个OwnCloud/NextCloud主要功能不都有吗?没发现什么特殊的闪光点

TOP

posted by wap, platform: GOOGLE Nexus 4
@westlost 看到了,主要是这些人是在BTSync上魔改的,我想连源代码都没有就直接hack掉的,怕出事,数据太重要了

@gopcboy 微软那个,怎么说呢,一个是速度贼慢啊,我上面也就40M东西,经常同步了好几天还在同步,效率比别的专业同步软件怕差了十几倍,有时候你装几个开发用的库就成千上万个文件,然后几天同步不回去,都要哭死了。而且偶尔还抽风,外国厂商在国内就算跪舔,也经常被穿小鞋,还是自己建靠谱安全。

TOP

posted by wap, platform: GOOGLE Nexus 4
引用:
原帖由 @gopcboy  于 2018-2-8 00:16 发表
我一个40多兆的ppt也就几分钟同步完啊……

不过我确实没有那么多文件,我大都是pdf和Office文件,大概不到1000个,3个g左右

不行用群晖的那个同步也挺好用啊……
关键不是文件大,文件多才是致命的,文件大反而同步很快。

同样的,文件多,非常多,目录非常深的时候,才是考验同步软件能力的时候,你想,有些目录有几万个子目录,几十万个文件,同步软件还要去扫描每个文件是否改动,要和原来的文件状态做比对,必然极其耗时,这就要靠算法的功力了。你这种1000个文件根本毫无压力的,我们项目有些前端工程的依赖库,很多轻松超过Windows的目录深度极限了,你正常的删除都删不掉说目录太深,当然这也是程序员的工作特殊性导致的,但这也对同步软件的要求极高。

我就是因为前不久Syncthing后台扫描目录太深导致CPU占用很高,所以将很多暂时结束或者冻结的项目打包成7z格式,结果Syncthing发现大量文件变化就挂逼了。

TOP

posted by wap, platform: GOOGLE Nexus 4
引用:
原帖由 @gopcboy  于 2018-2-8 00:32 发表
明白了,感觉好复杂。。不能不建那么多目录嘛?。。。。
都是包管理工具自己建的,非Windows系统没这么多限制,所以大家都不当回事,放Windows上就傻逼了

TOP

 16 12
发新话题
     
官方公众号及微博