1. 打包隐藏文件
1tar -czf data.tar.gz ./.[!.]*
2. find
2.1. 查找文件并按大小排序
1find -type f -name '*.md' -printf '%s\t%p\n' | grep -v '\.git' | sort -nr | less -N
2.2. 批量删除7天前的文件
1find -type f -mtime +7 -exec rm -fr {} \;
2.3. 多个条件(-o)
find ./ -name ‘.c’ -o -name ‘.h’ find ./ -name ‘*.[ch];
2.4. 忽略大小写(-iname)
find ./ -iname ‘makefile’
3. 文件监控inotify
1sudo apt install inotify-tools
监控文件的打开关闭次数
1inotifywatch -v -e open -e close -t 60 -r $(pwd)/test.c
4. 文件查重工具fdupes
4.1. 保留最早的文件
1fdupes --recurse --noempty --nohidden --size --time --minsize=10240000 --log=del10M.log -d -N
4.2. 保留最新的文件
1fdupes --recurse --reverse --noempty --nohidden --size --time --minsize=10240000 --log=del10M.log -d -N
4.3. 其他
1fdupes -r -S -t -n -G 1000000 01-document/ zzzzzzzzzz/01-document/ > doc.log
2fdupes -r -S -t -n -G 1000 -L 1000000 01-document/ zzzzzzzzzz/01-document/ > doc.log
3fdupes -r -S -t -n -o name 04-personal/photos/ /export/new/photos-mage20/ > photos.log
4.4. 帮助信息
1Usage: fdupes [options] DIRECTORY...
2
3 -r --recurse for every directory given follow subdirectories
4 encountered within
5 -R --recurse: for each directory given after this option follow
6 subdirectories encountered within (note the ':' at the
7 end of the option, manpage for more details)
8 -s --symlinks follow symlinks
9 -H --hardlinks normally, when two or more files point to the same
10 disk area they are treated as non-duplicates; this
11 option will change this behavior
12 -G --minsize=SIZE consider only files greater than or equal to SIZE bytes
13 -L --maxsize=SIZE consider only files less than or equal to SIZE bytes
14 -n --noempty exclude zero-length files from consideration
15 -A --nohidden exclude hidden files from consideration
16 -f --omitfirst omit the first file in each set of matches
17 -1 --sameline list each set of matches on a single line
18 -S --size show size of duplicate files
19 -t --time show modification time of duplicate files
20 -m --summarize summarize dupe information
21 -q --quiet hide progress indicator
22 -d --delete prompt user for files to preserve and delete all
23 others; important: under particular circumstances,
24 data may be lost when using this option together
25 with -s or --symlinks, or when specifying a
26 particular directory more than once; refer to the
27 fdupes documentation for additional information
28 -P --plain with --delete, use line-based prompt (as with older
29 versions of fdupes) instead of screen-mode interface
30 -N --noprompt together with --delete, preserve the first file in
31 each set of duplicates and delete the rest without
32 prompting the user
33 -I --immediate delete duplicates as they are encountered, without
34 grouping into sets; implies --noprompt
35 -p --permissions don't consider files with different owner/group or
36 permission bits as duplicates
37 -o --order=BY select sort order for output and deleting; by file
38 modification time (BY='time'; default), status
39 change time (BY='ctime'), or filename (BY='name')
40 -i --reverse reverse order while sorting
41 -l --log=LOGFILE log file deletion choices to LOGFILE
42 -v --version display fdupes version
43 -h --help display this help message
1fdupes --recurse --noempty --nohidden --size --time --log=1111.log -d -N
5. 文件查重工具rdfind
6. 文件查重工具fslint
7. 同步工具rsync
1# -v:显示rsync过程中详细信息。可以使用"-vvvv"获取更详细信息。
2# -P:显示文件传输的进度信息。(实际上"-P"="--partial --progress",其中的"--progress"才是显示进度信息的)。
3# -n --dry-run :仅测试传输,而不实际传输。常和"-vvvv"配合使用来查看rsync是如何工作的。
4# -a --archive :归档模式,表示递归传输并保持文件属性。等同于"-rtopgDl"。
5# -r --recursive:递归到目录中去。
6# -t --times:保持mtime属性。强烈建议任何时候都加上"-t",否则目标文件mtime会设置为系统时间,导致下次更新
7# :检查出mtime不同从而导致增量传输无效。
8# -o --owner:保持owner属性(属主)。
9# -g --group:保持group属性(属组)。
10# -p --perms:保持perms属性(权限,不包括特殊权限)。
11# -D :是"--device --specials"选项的组合,即也拷贝设备文件和特殊文件。
12# -l --links:如果文件是软链接文件,则拷贝软链接本身而非软链接所指向的对象。
13# -z :传输时进行压缩提高效率。
14# -R --relative:使用相对路径。意味着将命令行中指定的全路径而非路径最尾部的文件名发送给服务端,包括它们的属性。用法见下文示例。
15# --size-only :默认算法是检查文件大小和mtime不同的文件,使用此选项将只检查文件大小。
16# -u --update :仅在源mtime比目标已存在文件的mtime新时才拷贝。注意,该选项是接收端判断的,不会影响删除行为。
17# -d --dirs :以不递归的方式拷贝目录本身。默认递归时,如果源为"dir1/file1",则不会拷贝dir1目录,使用该选项将拷贝dir1但不拷贝file1。
18# --max-size :限制rsync传输的最大文件大小。可以使用单位后缀,还可以是一个小数值(例如:"--max-size=1.5m")
19# --min-size :限制rsync传输的最小文件大小。这可以用于禁止传输小文件或那些垃圾文件。
20# --exclude :指定排除规则来排除不需要传输的文件。
21# --delete :以SRC为主,对DEST进行同步。多则删之,少则补之。注意"--delete"是在接收端执行的,所以它是在
22# :exclude/include规则生效之后才执行的。
23# -b --backup :对目标上已存在的文件做一个备份,备份的文件名后默认使用"~"做后缀。
24# --backup-dir:指定备份文件的保存路径。不指定时默认和待备份文件保存在同一目录下。
25# -e :指定所要使用的远程shell程序,默认为ssh。
26# --port :连接daemon时使用的端口号,默认为873端口。
27# --password-file:daemon模式时的密码文件,可以从中读取密码实现非交互式。注意,这不是远程shell认证的密码,而是rsync模块认证的密码。
28# -W --whole-file:rsync将不再使用增量传输,而是全量传输。在网络带宽高于磁盘带宽时,该选项比增量传输更高效。
29# --existing :要求只更新目标端已存在的文件,目标端还不存在的文件不传输。注意,使用相对路径时如果上层目录不存在也不会传输。
30# --ignore-existing:要求只更新目标端不存在的文件。和"--existing"结合使用有特殊功能,见下文示例。
31# --remove-source-files:要求删除源端已经成功传输的文件。
1OPTS=""
2OPTS="${OPTS} -P"
3OPTS="${OPTS} -r"
4OPTS="${OPTS} -o"
5OPTS="${OPTS} -g"
6OPTS="${OPTS} -t"
7OPTS="${OPTS} -p"
8OPTS="${OPTS} -l"
9# OPTS="${OPTS} -u"
10OPTS="${OPTS} "
11OPTS="${OPTS} "
12# OPTS="${OPTS} --delete "
13
14# NOT endswith '/'
15dst=/export/new
16
17set -ex
18
19# NOT endswith '/'
20src=srd_path
21rsync ${OPTS} ${src} ${dst}
22
23
24rsync -u -P -r -e 'ssh -p 20092' dix@localhost:/data/eel/source/kernel/linux-6.6/Documentation/output/* ~/temp/kdoc/