rclone+Google Drive配合docker部署nextcloud

Author Avatar
st 2021年06月07日
  • 在其它设备中阅读本文章

这...到头来还是得靠Google Drive啊。

想搞个个人网盘也有很久了，国内网盘一点也不想用，国外网盘稍微好用点的都不能直连，搞了半天还是只有Google Drive比较满足我的需求，现在为了Google Drive的空间开了Workspace，也算是无奈了。

自建网盘问题最大的就是存储，我这TB级的需求，实在是没什么便宜的选项，备份也是个大问题，VPS的存储绝对是顶不住。考虑了半天，还是只能用rclone把Google Drive给mount到VPS的硬盘上。

安装及配置rclone

rclone是以前就装好的了，步骤也记得没那么清楚了，不过印象里按照docs来就没问题。
安装rclone
添加Google Drive的源
添加Google Drive时，我建了一个共享网盘作为源，但因为是以网盘创建者配置的，所以rclone的配置里不用配置成共享网盘。auto config也要选n，不然没法登陆。另外需要进入GCP创建client_id，docs里的"Making your own client_id"部分有写步骤。

安装nextcloud

一开始我按照nextcloud docker的github试着部署，怎么都搞不定fpm image的配置，apache image可以正常运行，但是必须再用一个apache反代，实在是太慢了。
后来干脆就根据nextcloud论坛的一个帖子改了一下里面的配置。
我的docker-compose.yml：

version: "2.3"
services:
##________CLOUD________
##_____________________ Caddy [CLOUD/web-proxy]
  caddy:
    container_name: caddy-proxy
    image: lucaslorentz/caddy-docker-proxy:ci-alpine
    restart: always
    networks: 
      - web-proxy
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock
      - ./data/caddy/caddy_data:/data
      - ./data/caddy/config:/config
      - ./data/nextcloud/var/www/html:/nextcloud/var/www/html
      - ./data/nextcloud/var/data:/nextcloud/var/nextdata
    ports:
      - 80:80
      - 443:443
##
##____________________ NextCloud [CLOUD/Files/NextCloud]
  nextcloud:
    image: nextcloud:fpm
    container_name: nextcloud
    restart: always
    mem_limit: 2048m
    mem_reservation: 1024m
    networks:
      - web-proxy
      - nextcloud
    depends_on:
      - nextcloud-db
      - nextcloud-cache
    environment:
      NEXTCLOUD_DATA_DIR: /var/nextdata
      NEXTCLOUD_TRUSTED_DOMAINS: drive.stsecurity.moe
      NEXTCLOUD_ADMIN_USER: st
      NEXTCLOUD_ADMIN_PASSWORD: xxxxxxxxxxxx
      POSTGRES_HOST: nextcloud-db
      POSTGRES_DB: nextcloud
      POSTGRES_USER: nextcloud
      POSTGRES_PASSWORD: xxxxxxxxxxxx
      REDIS_HOST: nextcloud-cache
      REDIS_HOST_PASSWORD: xxxxxxxxxxxx
      SMTP_HOST: smtp.mailgun.org
      SMTP_SECURE: tls
      SMTP_NAME: xxxxxxxxxxxx
      SMTP_PASSWORD: xxxxxxxxxxxx
      SMTP_FROM_ADDRESS: notifications@drive.stsecurity.moe
      SMTP_PORT: 587
    volumes:
        # the actual data of the Nextcloud:
      - ./data/nextcloud/var/nextdata:/var/nextdata
        # Main folder needed for updating:
      - ./data/nextcloud/var/www/html:/var/www/html
        # local configuration
      - ./data/nextcloud/var/www/html/config:/var/www/html/config
        # Custom settings for php fpm to make nextcloud work. The default settings resulted in the error:
        # WARNING: [pool www] server reached pm.max_children setting (5), consider raising it
      #- ./data/nextcloud/etc/www-custom.ini:/usr/local/etc/php-fpm.d/zz-custom.conf
      - type: bind
        source: ./data/nextcloud/etc/www-custom.ini
        target: /usr/local/etc/php-fpm.d/zz-custom.conf
        read_only: false
        # Custom settings for php
      - type: bind
        source: ./data/nextcloud/etc/php.ini
        target: /usr/local/etc/php/conf.d/php.ini
        read_only: false

    labels:
      caddy: drive.stsecurity.moe
      caddy.tls: st@stsecurity.moe
      caddy.file_server: "" 
      caddy.root: "* /nextcloud/var/www/html"
      caddy.php_fastcgi: "{{upstreams 9000}}"
      caddy.php_fastcgi.root: "/var/www/html"
      caddy.php_fastcgi.env: "front_controller_active true"
      caddy.encode: gzip
      caddy.redir_0: "/.well-known/carddav /remote.php/dav 301"
      caddy.redir_1: "/.well-known/caldav /remote.php/dav 301"
      caddy.header.Strict-Transport-Security: '"max-age=15768000;includeSubDomains;preload"' # Required for Nextcloud
      #caddy.header.X-XSS-Protection: '"1; mode=block;"'             # Required for FileRun+OnlyOffice
      #caddy.header.X-Content-Type-Options: "nosniff"                # Required for FileRun+OnlyOffice
      #caddy.header.X-Frame-Options: "SAMEORIGIN"                    # Required for FileRun+OnlyOffice
##____________________ NextCloud [CLOUD/Files/NextCloud/database]
  nextcloud-db:
    container_name: nextcloud-db
    image: postgres:alpine
    restart: always
    networks:
      - nextcloud
    environment:
      POSTGRES_USER: nextcloud
      POSTGRES_PASSWORD: xxxxxxxxxxxx
    volumes:
      - ./data/nextcloud/db:/var/lib/postgresql/data
      - /etc/localtime:/etc/localtime:ro
##____________________ NextCloud [CLOUD/Files/NextCloud/cache]
  nextcloud-cache:
    container_name: nextcloud-cache
    image: redis:alpine
    restart: always
    mem_limit: 2048m
    mem_reservation: 1024m
    networks:
      - nextcloud
    command: redis-server --requirepass xxxxxxxxxxxx
#
#
networks:
  web-proxy:
    driver: bridge
  nextcloud:
    driver: bridge

其中www-custom.ini和php.ini需要手动创建，www-custom.ini的内容是：

pm = dynamic
pm.max_children = 120
pm.start_servers = 12
pm.min_spare_servers = 6
pm.max_spare_servers = 18
php_admin_value[memory_limit] = 4096M
php_admin_value[post_max_size] = 4096M
php_admin_value[upload_max_filesize] = 4096M
php_admin_value[max_input_time] = 86400
php_admin_value[max_execution_time] = 86400

php.ini的内容是：

upload_max_filesize = 4096M
post_max_size = 4096M
max_execution_time = 86400
max_input_time = 86400
memory_limit = 4096M

max_execution_time和max_input_time在php.ini中设置了也不会对nextcloud起作用，但如果创建一个phpinfo.php就可以看到效果，可能与这个issue有关。
配置好文件后运行docker-compose up -d即可。

配置nextcloud

有不少东西需要手动配置的，首先是要把data文件夹所有者改成www-data。
然后访问服务器就可以进行安装了，data文件夹填服务器的文件夹路径而不是docker容器内的路径，db host填127.0.0.1:3306。
之后应该可以正常安装进入dashboard了，首先把Google Drive Mount过来再进行别的操作。
我用Supervisor确保rclone常驻，配置文件如下：

[program:rclone]
command=rclone mount static:/nextdata-st-files/ /nextcloud/data/nextcloud/var/nextdata/st/files --daemon --umask=007 --allow-other --gid 0 --uid 33 --cache-dir /tmp/rclone/nextdata/ --vfs-cache-mode full --vfs-cache-max-size 1G
process_name=%(program_name)s
autostart=true
redirect_stderr=true
stdout_logfile=/var/log/rclone/nextdata.log
stdout_logfile_maxbytes=1MB
stdout_logfile_backups=0

mount的时候要设置好权限，不然会出错。
然后进入settings的overview会提示没有设置电话区域，在var/www/html/config的config.php加上一行'default_phone_region' => 'CN',即可。另外会提示没有svg支持，运行docker exec -it nextcloud bash进入容器，然后运行apt update && apt-get -y install libmagickcore-6.q16-6-extra安装需要的库。
安装了几次smtp都没有自动配置，都是我之后在后台手动配置的，不过没什么问题。
Nextcloud配套的app有些还挺好用的，比如talk, note之类的，还有github, twitter, mastodon的支持，mail的配置比较麻烦，gmail的地址需要app password，然后用生成的app password代替平时登陆用的密码，不然无法成功配置。

安装完成后

其实跟Google Drive用起来差不多，同步用的客户端逻辑也差不多，自己的服务器上好处就是可以直连了，同步下来不算太慢，就是偶尔会出点错，慢慢调配置到现在已经挺稳定了。php的配置可能还需要手动调一下，暂时也不太确定。
因为归根结底还是相当于在用Google Drive做存储，所以也算有好有坏，坏处是数据不是完全自己管理，好处是服务器硬盘空间可以设很小，而且通过Google Drive也可以直接访问文件，部署在GCP上，也不用担心服务器和Google Drive之间的流量费用。

Debug

默认的后台是ajax，经常会出问题，在Settings里把Background jobs切换到cron比较好，在服务器上运行crontab -e然后添加：

1 * * * * docker exec -u www-data nextcloud php /var/www/html/occ files:scan --all
*/5  *  *  *  * docker exec -u www-data nextcloud php -f /var/www/html/cron.php

分别是定期检查本地文件以及运行Background jobs。

试图filescan时报错'existing lock on file: exclusive'，用redis-cli刷新redis缓存可以解决。

docker exec -it nextcloud-cache redis-cli -a xxxxxxxxxxxxx flushall

安装smbclient可以用docker exec -it nextcloud bash进入容器后运行apt-get update && apt-get -y install smbclient，smbclient可以提供对于SMB/CIFS的支持。

docker-compose.yml中配置的POSTGRES_HOST如果用容器名，需要加上

links:
- nextcloud-db:nextcloud-db

才能连接到数据库。

最近一次迁移碰到了不少问题，把caddy容器换成了单独运行的nginx，主要在官方配置的基础上修改了一下。首先有两个小问题是postgres和nextcloud的版本，迁移的时候还是得保证版本一致。然后是配置完nginx过后访问报错file not found，但nextcloud的容器有log，最后发现是需要在nginx配置文件中location ~ \.php(?:$|/) 块里头，把fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name;改成fastcgi_param SCRIPT_FILENAME /var/www/html$fastcgi_script_name;，原因是这里的文件地址是nextcloud容器内的地址，官方容器固定是/var/www/html，而$document_root读取的是host上nginx配置里的root，如果不一致就会找不到文件。

Rclone也放在容器里了，贴一下docker-compose：

version: '3.7'

services:
  rclone:
    image: rclone/rclone:latest
    hostname: rclone
    container_name: rclone
    restart: unless-stopped
    network_mode: "bridge"
    volumes:
      - ./config:/config/rclone
      - ./data:/data:shared
      - ./tmp/rclone:/tmp/rclone
    devices:
      - /dev/fuse
    cap_add:
      - MKNOD
      - SYS_ADMIN
    entrypoint: rclone mount remote:/nextcloud/ /data/mount/ --umask=000 --copy-links --no-gzip-encoding --no-check-certificate --allow-other --cache-dir /tmp/rclone/nextcloud/ --vfs-cache-mode off --vfs-cache-max-size 1G

关键在于覆盖默认的entrypoint，但首次运行的时候要把这行注释掉，不然没法添加remote。docker-compose run rclone config添加配置，docker-compose run rclone listremotes查看remote。配置完之后修改entrypoint然后docker-compose up -d运行即可。

本文链接：https://blog.stsecurity.moe/archives/216/
Creative Commons License
This work is licensed under a Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.

Powered by Typecho
Theme - Material