webdav协议及我的笔记方案(私有部署)

webdav · 浏览次数 : 7

小编点评

本文主要讨论了个人数据存储和管理的方法,特别是对于那些需要在不同设备之间同步数据的用户。作者提到了一些常见的数据存储和管理工具,如Typora、NAS(网络附加存储)和云服务器,并探讨了它们的优缺点。 首先,作者提到了Typora这款笔记软件,它支持Markdown格式,并且作者习惯在本地使用Git进行数据管理。然而,作者也意识到将数据存储在云服务器上可能存在风险,因此考虑使用NAS来存储数据。 接着,作者讨论了NAS的选择,包括基于x86架构和ARM架构的NAS。作者认为,NAS的发展已经超越了简单的家用服务器,成为了一个专业的设备。作者提到,NAS通常支持多种协议,如WebDAV、FTP、SFTP等,这使得它在数据共享和管理方面具有很大的灵活性。 此外,作者还提到了云服务器作为数据存储的选择。作者认为,对于一般的个人用户来说,使用云服务器存储数据是足够的。为此,作者在自己的云服务器上搭建了Git服务,以便在本地编辑的笔记可以通过Git推送到云服务器上进行备份。 最后,作者对比了不同的文件同步方案,包括WebDAV、FTP、SFTP等。作者发现,虽然WebDAV在某些方面具有优势,但由于iOS系统的限制,WebDAV客户端的应用范围有限。因此,作者最终选择了在Git方案和云服务器方案之间做出权衡。 总的来说,本文详细介绍了个人数据存储和管理的方法,包括Typora、NAS和云服务器等工具的使用,以及WebDAV、FTP、SFTP等文件同步方案的优缺点。作者根据自己的需求和实际情况,选择了最适合自己的数据管理和同步方案。

正文

背景

用markdown用于文章写作,有几年时间了,不是很喜欢折腾,主要就是在电脑上写,用的笔记软件就是typora。由于里面有很多工作相关的,以及个人资料相关的(包含了各种账号、密码啥的),所以不敢往各种云服务上放,还是想着数据由自己来管着。

自己管数据的话,就是数据存储到哪里的问题,有很多朋友是折腾nas(Network Attached Storage:网络附属存储),相当于是搞一个家用的服务器,一般24小时开机,对外提供各种协议的服务(如webdav、ftp、sftp、http等),随时可以往这个服务器上上传东西,或者是下载东西。理论上来说,任意的硬件,只要能刷上一个操作系统,部署上各种服务,就是一台nas;但目前这个东西,已经发展成了一个专业的设备,比如你如果拿一个废旧电脑来做nas,那电脑芯片一般是基于x86架构的,比较耗电,放在家里24小时开机就有点不划算,所以很多nas都是arm架构,当然,为了追求性能,也有x86架构的,也更贵就是了。

我个人还没买过nas设备(qiong啊),所以把数据存到nas但我手里有一台云服务器,就是普通的1核2G那种,拿来存储自己的数据也是足够的,因此,我一直以来的方案是,在云服务器上自建了git服务,本地的笔记就用git来管理,新增或修改后就push到云服务器上,做个备份。

这种的好处在于,虽然文件存放在云服务器上,但是是由git管理的,如果黑客攻进去了,也不一定能发现我的原始文件。

我之前也想过在手机上看这些笔记(主要是看,不在手机上写),但我发现,由于我的破iphone 11一直没升级(系统是ios 13.5,为啥不升呢,升了怕卡),可以选择的app相当有限,其实就是想找个git客户端就行,但支持连接自建git的,并支持渲染markdown格式的笔记的,且能在ios13.5上跑的,之前找过一次,还真是没找到。

最近研究了下这块,我发现,之前思想确实太局限了,为啥一定要用git协议做同步呢,http、ftp、sftp、smb等,哪个不能用?

说下这两天研究的webdav方案吧。

webdav协议

官网:http://www.webdav.org/

官方简介:WebDAV stands for "Web-based Distributed Authoring and Versioning". It is a set of extensions to the HTTP protocol which allows users to collaboratively edit and manage files on remote web servers.

WebDAV扩展了HTTP协议,允许用户协作,对远程web服务器上的文件进行编辑和管理。

大家可能会想到restful,毕竟restful就是用各种HTTP Method来标识接口的意图(如对资源的增删改查,用GET/PUT/POST/DELETE这几个Method来标识),WebDAV和它有点类似,但更偏向于文件协作,因为WebDAV中扩展了很多HTTP METHOD,如下:

  • COPY, copy a resource

  • MOVE, move a resource

  • MKCOL, create a collection, for example, a folder

  • PROPFIND, retrieve properties stored as XML

  • PROPPATCH, change and/or remove properties

  • LOCK, put a lock on a resource

  • UNLOCK, remove a lock from a resource

可以看到,包含了一些指令,如果要拷贝一个资源,不需要下载下来,再上传,只需要使用COPY即可;另外,还有LOCK和UNLOCK,可以用于锁定资源,避免多人修改同一个文件时出现冲突(这几年慢慢出现了腾讯文档这样的多人协作的在线文档,和这里的理念类似)。

我本地有两个webdav客户端,下面先展示一个通过nextcloud(https://docs.nextcloud.com/desktop/3.13/installing.html),在本地新建文件:test-0701.txt时的网络报文:

image-20240701172541421

以下 是响应:

image-20240701172649719

我本地用的raidrive windows客户端,准备演示下lock功能,发现没找到。查了文档,只有专业版才支持

https://docs.raidrive.com/options/filelock/

所以,这边就看看官方文档的示例吧:

http://www.webdav.org/specs/rfc4918.html#n-example---simple-lock-request

image-20240701173705242

针对锁定,文档中还规定了锁的模式,排他锁或者是共享锁,可以看上图,就是排他锁。

http://www.webdav.org/specs/rfc4918.html#exclusive-lock

各种传输协议的简单理解

简单查了一下,nas对外支持的协议,一般有这么几种:

  • NFS(Network File System),客户端一般是unix/linux系统;当然,我也搜了下“nfs client windows”,发现win7就有NFS client,https://learn.microsoft.com/en-us/windows-server/storage/nfs/nfs-overview

    image-20240701194708980

  • AFP(Apple Filing Protocol),客户端一般是Mac系统

  • CIFS/SMB(Server Message Block),SMB 最早是微软为自己需求设计的专用协议,用来实现微软主机之间的文件共享与打印共享,并不支持在 Linux 上运行,也就是说windows系统作为smb协议,只能访问另一台windows;后来,被技术大佬Andrew Tridgwell进行逆向,开发了samba,包含服务端(samba)和客户端(smbclient ),可以在linux/unix上运行,这样的话,windows、linux/unix主机之间就可以自由地通过smb协议进行网络交互了;

    该协议的主要client应该还是windows主机,因为nas支持了NFS,在linux上完全可以用走NFS协议;

    https://www.samba.org/samba/docs/current/man-html/smbclient.1.html

  • FTP(File Transfer Protocol)/SFTP(Secure File Transfer Protocol),这两个就不多说了,后者是基于SSH对文件传输进行安全增强;

  • WebDAV,基于HTTP或HTTPS,可以充分利用目前互联网上的各种web基础设施,也不容易被防火墙拦截

  • http/https,这个就不提了,最基础的。

在上述几种协议中,FTP系列、WebDAV、http/https,应该是拥有最广泛的客户端实现,因此,如果是要通过app访问nas的话,选择这几种流行的协议进行传输,可以有最广泛的选择度。

在FTP和WebDAV之间进行选择,其实就是对FTP和http进行选择,基本上,http是优势明显,可以参考如下链接:

https://stackoverflow.com/questions/11216884/which-file-access-is-the-best-webdav-or-ftp

我这里也看了下,我ios中一个app,作为一款客户端支持的各种协议:

image-20240701200125232

webdav服务端

这个就多了去了,各种商业产品,各种开源产品,商业产品就不说了,我说说我目前知道的开源产品。

我目前在自己云服务器上,搭建了一套NextCloud服务端,它可以私有化部署,就像我这样。

官网:https://nextcloud.com/install/#instructions-server

Nextcloud这种算是网盘类软件,我对网盘类软件的理解是,我在本地的文件是什么样,你在网盘的UI上呈现出来也是什么样,通过另一个client拉取下来的文件,还是和我之前的文件一样的,文件名、文件格式等不要给我改了,说白了就是文件存储、对象存储。

同类的软件,我知道的还有:Owncloud (其实和NextCloud是同一作者)、Seafile、filerun

https://www.reddit.com/r/selfhosted/comments/rwo7qo/nextcloud_vs_owncloud_vs_seafile/

还有一种软件,比如Joplin,是一款笔记软件,支持多端(pc、ios、安卓),多端间用webdav同步,我以为这款很适合我。结果,joplin不能识别我用typora写的markdown笔记(joplin windows端可以导入markdown笔记,但导入后,已经是由joplin管理的另一个新的文件了,我再去typora修改原始文件,在joplin中也不会有任何变化。joplin也支持设置使用typora来编辑,但主要还是不喜欢它用自己的格式来管理我的文件)。

所以,后面我发现,这种网盘同步类软件更适合我,不会改我的原始文件,它只需要负责多端间同步就行。

另外,我们程序员广为使用的apache、nginx都是支持webdav的,像nginx的话,默认没有开启那个模块,需要单独弄一下。

webdav-服务端-nextcloud

一开始是按照官方文档来弄,选的是docker镜像all-in-one的镜像,结果后面遇到个什么错,没搞起来,以后再试试。

https://github.com/nextcloud/all-in-one#how-to-use-this

后面网上找了另一种方案,这里记录下,要先把docker安装上(包括docker-compose):

mkdir -p /path/to/nextcloud;

新建文件,docker-compose.yml:

内容如下,注意自己改下密码,ip啥的:

version: '3'

services:
  app:
    image: nextcloud
    restart: always
    networks:
      nextcloud_network:     
    ports:
      - "8080:80"
    volumes:
      - /path/to/nextcloud/data:/var/www/html
      - /path/to/nextcloud/config:/var/www/html/config
    environment:
      - NEXTCLOUD_ADMIN_USER=admin  --用户名可以改下
      - NEXTCLOUD_ADMIN_PASSWORD=1qaz@WSX#EDC --自己改一下密码
      - NEXTCLOUD_TRUSTED_DOMAINS=外网ip:8080
      - MYSQL_HOST=db
      - MYSQL_PASSWORD=db_password
      - MYSQL_DATABASE=nextcloud
      - MYSQL_USER=db_user
      - OVERWRITEPROTOCOL=http
      - LANG=zh_CN.UTF-8
    depends_on:
      - db

  db:
    image: mariadb
    restart: always
    networks:
      nextcloud_network:
    environment:
      - MYSQL_ROOT_PASSWORD=db_root_password
      - MYSQL_DATABASE=nextcloud
      - MYSQL_USER=db_user
      - MYSQL_PASSWORD=db_password
    volumes:
      - /path/to/mysql/data:/var/lib/mysql

networks:
  nextcloud_network:

然后就可以启动了:

docker-compose up -d

启动后,大概是这样两个容器:

image-20240701203642768

启动完成后,在浏览器中,http://ip:8080端口访问即可,剩下都是图形化操作,还比较简单了。

访问时,可能会报一个trusted_domain的问题,我是修改了config.php:

[root@VM-0-6-centos config]# pwd
/path/to/nextcloud/config

修改config.php:
  'trusted_domains' =>
  array (
    0 => 'localhost',
    1 => '1.1.1.1:8080',
  ),

另外,目前这个是http的,不是很安全,所以大家可以先尽量选择可信的webdav客户端,比如nextcloud在多端都有应用,https的我也还没研究,后续再看下这块,暂时没时间了。

webdav-服务端-nginx

这里只简单说一下。

需要重新编译nginx源码,加入webdav和webdav扩展模块。

扩展模块的源码从这里下载:

https://github.com/arut/nginx-dav-ext-module/releases

比我这里使用的,最后的编译命令为:

--sbin-path=/usr/local/nginx/nginx --conf-path=/usr/local/nginx/nginx.conf --pid-path=/usr/local/nginx/nginx.pid --with-http_ssl_module --with-http_dav_module --add-module=/root/upload/nginx-1.21.3/nginx-dav-ext-module-3.0.0

就是新增了:

--with-http_dav_module --add-module=/root/upload/nginx-1.21.3/nginx-dav-ext-module-3.0.0

编译完成后,拷贝覆盖已有的nginx二进制文件。

我这边的nginx二进制在/usr/local/nginx/nginx,覆盖前需要先备份

cp objs/nginx /usr/local/nginx/nginx -f

然后贴一份我的配置文件,仅供参考:

 server {
        listen       80;
        server_name  localhost;


        access_log  logs/80access.log  main;

        
        location /work-file {
            root                  /root/;
			
            client_body_temp_path /var/client_temp;
            client_max_body_size 50m;
			
            auth_basic "webdav";
            auth_basic_user_file /root/upload/nginx-1.21.3/passwd.txt;
			
			autoindex on;
			
            dav_methods PUT DELETE MKCOL COPY MOVE;
            dav_ext_methods PROPFIND OPTIONS LOCK UNLOCK;

            create_full_put_path  on;
            dav_access            group:rw  all:r;
       }
    }

密码文件的生成有多种方式,我也是网上查了下:

[root@VM-0-6-centos nextcloud]# openssl passwd '1111111'
CjBujI/Rj1tcI

passwd.txt(用户名:密码):
webdav:CjBujI/Rj1tcI

webdav-pc 客户端

我这边使用的有nextcloud windows客户端、raidrive。raidrive感觉非常强大,支持的云端存储,基本上全包含了。

image-20240701204513661

image-20240701204528569

image-20240701204543345

webdav-ios客户端

我由于操作系统版本是13.5的,可选范围有限,所以只是简单分享下。

可以直接在app store搜搜webdav关键字,如果某款软件支持这个协议,不至于不在描述中提一下吧。

具体的app就不说了,有广告嫌疑,我发现个问题,很多webdav 客户端app,可以支持远程连接webdav,但是不会把webdav服务端的数据拉到本地来保存,而是在线的那种,和web系统一样,点开某个目录,才会加载那个目录下文件,点开某个文件,才会去加载内容;所以也就不支持在全部文件中进行关键字搜搜,笔记多的话,还是不好找。

所以,我个人后续应该还是会安装Nextcloud这种云盘类的app(目前操作系统版本原因,装不了),但我想,至少会把数据全部同步到本地,数据同步到本地,才会有可能支持全文检索。

总结

等后续换了手机,我就打算整nextcloud全家桶先试试,想要的功能就是app上能跨文件全文搜索,就满足了。

目前手机上安装的app,都是不能全文搜索的;而我也找到了一款某个大佬写的一个app(支持从自建的git拉取markdown进行展示),但是大佬没做本地的全文搜索。

所以目前两个方案,在我手机端的效果差不多,甚至git方案的话,还能离线使用,还要优于webdav方案。

另外,nextcloud的服务端,有点耗内存,这样的话,云服务器都不能干别的事了,所以目前就用我的git方案算了,还完全没有内存消耗。

但是通过这么折腾,至少对于nas这套东西,了解了不少,以后想折腾的时候再弄吧。

与webdav协议及我的笔记方案(私有部署)相似的内容:

webdav协议及我的笔记方案(私有部署)

背景 用markdown用于文章写作,有几年时间了,不是很喜欢折腾,主要就是在电脑上写,用的笔记软件就是typora。由于里面有很多工作相关的,以及个人资料相关的(包含了各种账号、密码啥的),所以不敢往各种云服务上放,还是想着数据由自己来管着。 自己管数据的话,就是数据存储到哪里的问题,有很多朋友是

影片自由,丝滑流畅,Docker容器基于WebDav协议通过Alist挂载(百度网盘/阿里云盘)Python3.10接入

使用过NAS(Network Attached Storage)的朋友都知道,它可以通过局域网将本地硬盘转换为局域网内的“网盘”,简单理解就是搭建自己的“私有云”,但是硬件和网络成本都太高了,有点可望而不可及的意思。Alist开源库则可以满足我们,它能将公共网盘反过来变成一种联网的本地硬盘,使用We

折腾指南: 将光猫改造成你的NAS,WebDAV+网页文件管理器vList5+natmap

光猫在家里只能担当拨号上网的角色吗?不,稍加改造就是一台NAS! 在这里,使用natmap映射IPV4,使用nginx+njs+vList5打造在线文件预览+管理,使用nginx+davext实现远程文件管理 甚至还可以使用aria2下载磁力做下载器,使用clash让光猫变成真的猫!只要你敢想,光猫...

[转帖]GoodSync Enterprise 11.10.5.5 Multilingual中文破解版

https://www.ittel.cn/archives/6854.html Goodsync 可以说是目前最好的同步文件,可以支持多任务的同步,单向工具同步的工具。本地文件同步、windows网上邻居同步、FTP同步、WebDAV同步、Amazon S3同步、sFTP同步winMobile同步

前端远程调试方案 Chii 的使用经验分享

前端远程调试方案 Chii 的使用经验分享 Chii 是与 weinre 一样的远程调试工具 ,主要是将 web inspector 替换为最新的 chrome devtools frontend 监控列表页面可以看到网站的标题链接,IP,useragent,可以快速定位调试页面,监控页信息完善,支