用markdown用于文章写作,有几年时间了,不是很喜欢折腾,主要就是在电脑上写,用的笔记软件就是typora。由于里面有很多工作相关的,以及个人资料相关的(包含了各种账号、密码啥的),所以不敢往各种云服务上放,还是想着数据由自己来管着。
自己管数据的话,就是数据存储到哪里的问题,有很多朋友是折腾nas(Network Attached Storage:网络附属存储),相当于是搞一个家用的服务器,一般24小时开机,对外提供各种协议的服务(如webdav、ftp、sftp、http等),随时可以往这个服务器上上传东西,或者是下载东西。理论上来说,任意的硬件,只要能刷上一个操作系统,部署上各种服务,就是一台nas;但目前这个东西,已经发展成了一个专业的设备,比如你如果拿一个废旧电脑来做nas,那电脑芯片一般是基于x86架构的,比较耗电,放在家里24小时开机就有点不划算,所以很多nas都是arm架构,当然,为了追求性能,也有x86架构的,也更贵就是了。
我个人还没买过nas设备(qiong啊),所以把数据存到nas但我手里有一台云服务器,就是普通的1核2G那种,拿来存储自己的数据也是足够的,因此,我一直以来的方案是,在云服务器上自建了git服务,本地的笔记就用git来管理,新增或修改后就push到云服务器上,做个备份。
这种的好处在于,虽然文件存放在云服务器上,但是是由git管理的,如果黑客攻进去了,也不一定能发现我的原始文件。
我之前也想过在手机上看这些笔记(主要是看,不在手机上写),但我发现,由于我的破iphone 11一直没升级(系统是ios 13.5,为啥不升呢,升了怕卡),可以选择的app相当有限,其实就是想找个git客户端就行,但支持连接自建git的,并支持渲染markdown格式的笔记的,且能在ios13.5上跑的,之前找过一次,还真是没找到。
最近研究了下这块,我发现,之前思想确实太局限了,为啥一定要用git协议做同步呢,http、ftp、sftp、smb等,哪个不能用?
说下这两天研究的webdav方案吧。
官方简介:WebDAV stands for "Web-based Distributed Authoring and Versioning". It is a set of extensions to the HTTP protocol which allows users to collaboratively edit and manage files on remote web servers.
WebDAV扩展了HTTP协议,允许用户协作,对远程web服务器上的文件进行编辑和管理。
大家可能会想到restful,毕竟restful就是用各种HTTP Method来标识接口的意图(如对资源的增删改查,用GET/PUT/POST/DELETE这几个Method来标识),WebDAV和它有点类似,但更偏向于文件协作,因为WebDAV中扩展了很多HTTP METHOD,如下:
COPY, copy a resource
MOVE, move a resource
MKCOL, create a collection, for example, a folder
PROPFIND, retrieve properties stored as XML
PROPPATCH, change and/or remove properties
LOCK, put a lock on a resource
UNLOCK, remove a lock from a resource
可以看到,包含了一些指令,如果要拷贝一个资源,不需要下载下来,再上传,只需要使用COPY即可;另外,还有LOCK和UNLOCK,可以用于锁定资源,避免多人修改同一个文件时出现冲突(这几年慢慢出现了腾讯文档这样的多人协作的在线文档,和这里的理念类似)。
我本地有两个webdav客户端,下面先展示一个通过nextcloud(https://docs.nextcloud.com/desktop/3.13/installing.html),在本地新建文件:test-0701.txt时的网络报文:
以下 是响应:
我本地用的raidrive windows客户端,准备演示下lock功能,发现没找到。查了文档,只有专业版才支持
https://docs.raidrive.com/options/filelock/
所以,这边就看看官方文档的示例吧:
http://www.webdav.org/specs/rfc4918.html#n-example---simple-lock-request
针对锁定,文档中还规定了锁的模式,排他锁或者是共享锁,可以看上图,就是排他锁。
http://www.webdav.org/specs/rfc4918.html#exclusive-lock
简单查了一下,nas对外支持的协议,一般有这么几种:
NFS(Network File System),客户端一般是unix/linux系统;当然,我也搜了下“nfs client windows”,发现win7就有NFS client,https://learn.microsoft.com/en-us/windows-server/storage/nfs/nfs-overview
AFP(Apple Filing Protocol),客户端一般是Mac系统
CIFS/SMB(Server Message Block),SMB 最早是微软为自己需求设计的专用协议,用来实现微软主机之间的文件共享与打印共享,并不支持在 Linux 上运行,也就是说windows系统作为smb协议,只能访问另一台windows;后来,被技术大佬Andrew Tridgwell进行逆向,开发了samba,包含服务端(samba)和客户端(smbclient ),可以在linux/unix上运行,这样的话,windows、linux/unix主机之间就可以自由地通过smb协议进行网络交互了;
该协议的主要client应该还是windows主机,因为nas支持了NFS,在linux上完全可以用走NFS协议;
https://www.samba.org/samba/docs/current/man-html/smbclient.1.html
FTP(File Transfer Protocol)/SFTP(Secure File Transfer Protocol),这两个就不多说了,后者是基于SSH对文件传输进行安全增强;
WebDAV,基于HTTP或HTTPS,可以充分利用目前互联网上的各种web基础设施,也不容易被防火墙拦截
http/https,这个就不提了,最基础的。
在上述几种协议中,FTP系列、WebDAV、http/https,应该是拥有最广泛的客户端实现,因此,如果是要通过app访问nas的话,选择这几种流行的协议进行传输,可以有最广泛的选择度。
在FTP和WebDAV之间进行选择,其实就是对FTP和http进行选择,基本上,http是优势明显,可以参考如下链接:
https://stackoverflow.com/questions/11216884/which-file-access-is-the-best-webdav-or-ftp
我这里也看了下,我ios中一个app,作为一款客户端支持的各种协议:
这个就多了去了,各种商业产品,各种开源产品,商业产品就不说了,我说说我目前知道的开源产品。
我目前在自己云服务器上,搭建了一套NextCloud服务端,它可以私有化部署,就像我这样。
官网:https://nextcloud.com/install/#instructions-server
Nextcloud这种算是网盘类软件,我对网盘类软件的理解是,我在本地的文件是什么样,你在网盘的UI上呈现出来也是什么样,通过另一个client拉取下来的文件,还是和我之前的文件一样的,文件名、文件格式等不要给我改了,说白了就是文件存储、对象存储。
同类的软件,我知道的还有:Owncloud (其实和NextCloud是同一作者)、Seafile、filerun
https://www.reddit.com/r/selfhosted/comments/rwo7qo/nextcloud_vs_owncloud_vs_seafile/
还有一种软件,比如Joplin,是一款笔记软件,支持多端(pc、ios、安卓),多端间用webdav同步,我以为这款很适合我。结果,joplin不能识别我用typora写的markdown笔记(joplin windows端可以导入markdown笔记,但导入后,已经是由joplin管理的另一个新的文件了,我再去typora修改原始文件,在joplin中也不会有任何变化。joplin也支持设置使用typora来编辑,但主要还是不喜欢它用自己的格式来管理我的文件)。
所以,后面我发现,这种网盘同步类软件更适合我,不会改我的原始文件,它只需要负责多端间同步就行。
另外,我们程序员广为使用的apache、nginx都是支持webdav的,像nginx的话,默认没有开启那个模块,需要单独弄一下。
一开始是按照官方文档来弄,选的是docker镜像all-in-one的镜像,结果后面遇到个什么错,没搞起来,以后再试试。
https://github.com/nextcloud/all-in-one#how-to-use-this
后面网上找了另一种方案,这里记录下,要先把docker安装上(包括docker-compose):
mkdir -p /path/to/nextcloud;
新建文件,docker-compose.yml:
内容如下,注意自己改下密码,ip啥的:
version: '3'
services:
app:
image: nextcloud
restart: always
networks:
nextcloud_network:
ports:
- "8080:80"
volumes:
- /path/to/nextcloud/data:/var/www/html
- /path/to/nextcloud/config:/var/www/html/config
environment:
- NEXTCLOUD_ADMIN_USER=admin --用户名可以改下
- NEXTCLOUD_ADMIN_PASSWORD=1qaz@WSX#EDC --自己改一下密码
- NEXTCLOUD_TRUSTED_DOMAINS=外网ip:8080
- MYSQL_HOST=db
- MYSQL_PASSWORD=db_password
- MYSQL_DATABASE=nextcloud
- MYSQL_USER=db_user
- OVERWRITEPROTOCOL=http
- LANG=zh_CN.UTF-8
depends_on:
- db
db:
image: mariadb
restart: always
networks:
nextcloud_network:
environment:
- MYSQL_ROOT_PASSWORD=db_root_password
- MYSQL_DATABASE=nextcloud
- MYSQL_USER=db_user
- MYSQL_PASSWORD=db_password
volumes:
- /path/to/mysql/data:/var/lib/mysql
networks:
nextcloud_network:
然后就可以启动了:
docker-compose up -d
启动后,大概是这样两个容器:
启动完成后,在浏览器中,http://ip:8080端口访问即可,剩下都是图形化操作,还比较简单了。
访问时,可能会报一个trusted_domain的问题,我是修改了config.php:
[root@VM-0-6-centos config]# pwd
/path/to/nextcloud/config
修改config.php:
'trusted_domains' =>
array (
0 => 'localhost',
1 => '1.1.1.1:8080',
),
另外,目前这个是http的,不是很安全,所以大家可以先尽量选择可信的webdav客户端,比如nextcloud在多端都有应用,https的我也还没研究,后续再看下这块,暂时没时间了。
这里只简单说一下。
需要重新编译nginx源码,加入webdav和webdav扩展模块。
扩展模块的源码从这里下载:
https://github.com/arut/nginx-dav-ext-module/releases
比我这里使用的,最后的编译命令为:
--sbin-path=/usr/local/nginx/nginx --conf-path=/usr/local/nginx/nginx.conf --pid-path=/usr/local/nginx/nginx.pid --with-http_ssl_module --with-http_dav_module --add-module=/root/upload/nginx-1.21.3/nginx-dav-ext-module-3.0.0
就是新增了:
--with-http_dav_module --add-module=/root/upload/nginx-1.21.3/nginx-dav-ext-module-3.0.0
编译完成后,拷贝覆盖已有的nginx二进制文件。
我这边的nginx二进制在/usr/local/nginx/nginx,覆盖前需要先备份
cp objs/nginx /usr/local/nginx/nginx -f
然后贴一份我的配置文件,仅供参考:
server {
listen 80;
server_name localhost;
access_log logs/80access.log main;
location /work-file {
root /root/;
client_body_temp_path /var/client_temp;
client_max_body_size 50m;
auth_basic "webdav";
auth_basic_user_file /root/upload/nginx-1.21.3/passwd.txt;
autoindex on;
dav_methods PUT DELETE MKCOL COPY MOVE;
dav_ext_methods PROPFIND OPTIONS LOCK UNLOCK;
create_full_put_path on;
dav_access group:rw all:r;
}
}
密码文件的生成有多种方式,我也是网上查了下:
[root@VM-0-6-centos nextcloud]# openssl passwd '1111111'
CjBujI/Rj1tcI
passwd.txt(用户名:密码):
webdav:CjBujI/Rj1tcI
我这边使用的有nextcloud windows客户端、raidrive。raidrive感觉非常强大,支持的云端存储,基本上全包含了。
我由于操作系统版本是13.5的,可选范围有限,所以只是简单分享下。
可以直接在app store搜搜webdav关键字,如果某款软件支持这个协议,不至于不在描述中提一下吧。
具体的app就不说了,有广告嫌疑,我发现个问题,很多webdav 客户端app,可以支持远程连接webdav,但是不会把webdav服务端的数据拉到本地来保存,而是在线的那种,和web系统一样,点开某个目录,才会加载那个目录下文件,点开某个文件,才会去加载内容;所以也就不支持在全部文件中进行关键字搜搜,笔记多的话,还是不好找。
所以,我个人后续应该还是会安装Nextcloud这种云盘类的app(目前操作系统版本原因,装不了),但我想,至少会把数据全部同步到本地,数据同步到本地,才会有可能支持全文检索。
等后续换了手机,我就打算整nextcloud全家桶先试试,想要的功能就是app上能跨文件全文搜索,就满足了。
目前手机上安装的app,都是不能全文搜索的;而我也找到了一款某个大佬写的一个app(支持从自建的git拉取markdown进行展示),但是大佬没做本地的全文搜索。
所以目前两个方案,在我手机端的效果差不多,甚至git方案的话,还能离线使用,还要优于webdav方案。
另外,nextcloud的服务端,有点耗内存,这样的话,云服务器都不能干别的事了,所以目前就用我的git方案算了,还完全没有内存消耗。
但是通过这么折腾,至少对于nas这套东西,了解了不少,以后想折腾的时候再弄吧。