shell脚本实现文件锁功能

1.背景

当多个进程可能会对同样的数据执行操作时，这些进程需要保证其它进程没有在操作，以免损坏数据。通常，这样的进程会使用一个“锁文件”，也就是建立一个文件来告诉别的进程自己在运行，如果检测到那个文件存在则认为有操作同样数据的进程在工作。这样的问题是，进程不小心意外死亡了，没有清理掉那个锁文件，那么只能由用户手动来清理了。

2.关于flock

flock 是对于整个文件的建议性锁。也就是说，如果一个进程在一个文件（inode）上放了锁，那么其它进程是可以知道的。（建议性锁不强求进程遵守。）最棒的一点是，它的第一个参数是文件描述符，在此文件描述符关闭时，锁会自动释放。而当进程终止时，所有的文件描述符均会被关闭。

3. shell中实现flock系统调用的命令是flock，其使用格式有以下两种（man flock）

复制代码

代码如下:

flock [-sxon] [-w timeout] lockfile [-c] command…

flock [-sxun] [-w timeout] fd

选项和参数：

-s,–shared：获取一个共享锁，在定向为某文件的FD上设置共享锁而未释放锁的时间内，其他进程试图在定向为此文件的FD上设置独占锁的请求失败，而其他进程试图在定向为此文件的FD上设置共享锁的请求会成功。

-x，-e，–exclusive：获取一个排它锁，或者称为写入锁，为默认项

-u，–unlock：手动释放锁，一般情况不必须，当FD关闭时，系统会自动解锁，此参数用于脚本命令一部分需要异步执行，一部分可以同步执行的情况。

-n，–nb, –nonblock：非阻塞模式，当获取锁失败时，返回1而不是等待

-w, –wait, –timeout seconds：设置阻塞超时，当超过设置的秒数时，退出阻塞模式，返回1，并继续执行后面的语句

-o, –close：表示当执行command前关闭设置锁的FD，以使command的子进程不保持锁。

-c, –command command：在shell中执行其后的语句

4. shell中实现排它锁避免脚本重复执行

Linux中的例行性工作排程crontab会定时执行一些脚本，但脚本的执行时间往往无法控制，当脚本执行时间过长时，可能会导致上一次任务的脚本还没执行完，下一次任务的脚本又开始执行了。这种情况下可能会出现一些并发问题，严重时会导致出现脏数据/性能瓶颈的恶性循环。

通过使用flock建立排它锁可以规避这个问题，如果一个进程对某个加了排他锁，则其它进程无法加锁，可以选择等待超时或马上返回。测试实例如下：

4.1 创建执行脚本

复制代码

代码如下:

#cat /scripts/shell/file_lock.sh

#!/bin/bash

# Description: test for file flock

PATH=/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin:~/bin

export PATH

echo “”

echo “———————————-”

echo “start at `date +%Y-%m-%d %H:%M:%S` …”

sleep 140s

echo “finished at `date +%Y-%m-%d %H:%M:%S` …”

4.2 创建定时任务：测试排它锁

复制代码

代码如下:

#crontab -e

* * * * * flock -xn /dev/shm/test.lock -c “sh /scripts/shell/file_lock.sh > /root/stdout.log”

每分钟执行一次该脚本，并将输出信息写入到stdout.log

查看输出日志如下：

复制代码

代码如下:

———————————-

start at 2014-04-10 10:23:01 …            #获取锁

finish at 2014-04-10 10:25:21 …           #释放锁

———————————-

start at 2014-04-10 10:26:01 …            #10:27:00及10:28:00启动的定时任务由于无法获取锁，以失败而退出执行，直到10:26:00才获取到锁

finish at 2014-04-10 10:28:21 …

4.3 测试排它锁，加上等待超时

复制代码

代码如下:

* * * * * flock -x -w 20 /dev/shm/test.lock -c “sh /scripts/shell/file_lock.sh > /root/stdout.log”

查看日志输出信息：

复制代码

代码如下:

———————————-

start at 2014-04-10 10:29:01 …

finish at 2014-04-10 10:31:21 …

———————————-

start at 2014-04-10 10:31:21 …    #10:31:00启动的定时任务等待了20秒后，上一个任务释放了锁，所以此任务可以马上拿到锁，并继续执行

finish at 2014-04-10 10:33:41 …