Skip to content

Latest commit

 

History

History
117 lines (81 loc) · 3.57 KB

88.md

File metadata and controls

117 lines (81 loc) · 3.57 KB

小工具 p2pfile 可以快速的用于内网大文件分发

Author: ninehills
Labels: blog
Created: 2022-01-29T14:22:52Z
Link and comments: ninehills#88

p2pfile - Simple P2P file distribution CLI

https://github.com/ninehills/p2pfile

背景

应用场景

  • 所有节点网络联通的环境下的文件分布式分发。
  • 私有网络环境，和互联网隔离。
  • 无文件加密传输需求

设计限制

  • DHT 网络中在这种环境下意义不大，所以不使用 DHT 网络，而是使用自带的集中 Tracker
    • 在第一个测试版本使用纯 DHT 网络，发现其交换效率低于 Tracker.
  • 不需要 Daemon 常驻进程，只需要单个二进制文件。
  • 无加密设计
  • 只支持单个文件分发，不支持文件夹分发。
  • 不支持 IPv6。

设计目标

  • 提供私有网络环境下的文件分布式分发。
  • 提供最简化的使用方法，一条命令。

命令行设计

做种：

Creates and seeds a torrent from file paths. Usage:

p2pfile serve <FILE_PATH>

Usage:
  p2pfile serve [flags]

Flags:
      --tracker-ip string           Set tracker ip. (default: default route ip)
      --tracker-port int            Set tracker port. (default: random port in port-range,  See --port-range)
      --tracker-port-range string   Set tracker random port range. (default: 42070-42099) (default "42070-42099")
  -h, --help                        help for serve

Global Flags:
      --config string   config file (default is $HOME/.p2pfile.yaml)
      --debug           Debug mode.
      --download-limit float   Set download limit, MiB. (default: 0.0)
      --upload-limit float     Set upload limit, MiB. (default: 0.0)

下载：

Download file from magnet uri. Usage:

p2pfile download <MAGNET_URI>

Usage:
  p2pfile download [flags]

Flags:
      --seeding                Seeding after download
      --seeding-max-time int   Seeding after download finish max time in seconds. default: 600(10min) (default 600)
      --seeding-auto-stop      Stop seeding after all nodes download finish. default: true (default true)
      --dir string             Set download dir. (default: .)
  -h, --help                   help for download

Global Flags:
      --config string   config file (default is $HOME/.p2pfile.yaml)
      --debug           Debug mode.
      --download-limit float   Set download limit, MiB. (default: 0.0)
      --upload-limit float     Set upload limit, MiB. (default: 0.0)

实际测试

测试条件：

  • 100 Node，1 seeding， 99 downloading
  • 云上 1Gb 网卡，但是测速在50-100MiB/s 之间
  • 文件大小：10GiB
  • 做种节点：1

测试结果：

  1. 1GiB 文件使用 pscp 从做种节点 10 并发拷贝到所有下载节点

    pscp -t 0 -p 10 -O StrictHostKeyChecking=no -h hosts -l root -w "xxxxxx" 1Gi /root/

# 启动时间：16:08:10
# 完成时间：16:10:14
# 耗时：4min4s = 244s，单节点平均下载速度为4.2MB/s

  2. 1GiB 文件使用 P2P分发（没有计算做种时间和命令分发启动时间)

    14:59:24 - 14:59:54 30s，单节点平均下载速度为34.1MB/s

  3. 10GiB 文件使用 P2P分发（没有计算做种时间和命令分发启动时间)

    15:04:00 -  15:13:00 7min = 420s，单节点平均下载速度为24.4MB/s

发现还是有一定的长尾，比如在6分钟的时候，有的节点已经下载完成，但是还有的节点才33%。