Bourneシェルスクリプト入門(+bash)

はじめに

LinuxやMac OSXをはじめたばかりの人を対象としたBourneシェルスクリプト入門です。bashを使いながらSolarisなどでも使えるように互換性の高いシェルスクリプトを数時間で学びます。またリファレンスをして使えるように、サンプルを豊富に用意しました。

目次へ戻る

メタキャラクタ

シェルスクリプトには簡単にパターンマッチさせる機能も付いています。以下にサンプルを書きましたので実際に実行してみてください。

URLなどのように高度なパターンマッチをするときは、grepを活用しますが、単純なものはこれで解決できます。

meta.sh

#!/bin/sh -x
# メタキャラクタ

touch abc.dat
touch 123.dat
touch z.dat

echo '*は任意の0文字以上にmatch'
ls *.dat

echo '?は任意の1文字にmatch'
ls ???.dat

echo '[]は指定した文字にmatch'
ls [1]*
ls [1-9]*
ls [a-z]*
ls [a][b][c].dat
echo '[!xxx]は否定'
ls [!a-z]*


rm -f abc.dat
rm -f 123.dat
rm -f z.dat

[a-z]や[1-9]などは、[:lower:]または[:digit:]というように書き換えることも可能です。この書き方を文字クラスと呼びます。

目次へ戻る

データ処理

数値計算

通常のプログラミング言語は1 + 1と式を書けば計算してくれますが、シェルスクリプトは基本的に文字列として扱うために計算するときはexprコマンドを使います。

#!/bin/sh

CNT=1
while [ $CNT -le 10 ]
do
        echo $CNT
        CNT=`expr $CNT + 1`
done

eval 再帰的な実行

スクリプト言語には非常に強力な再帰処理機能があります。まずは下の例を見てください。

#!/bin/sh
VAL=COFFEE

Message='Java is $VAL'

echo $Message


eval echo $Message

まずはじめに、VAL変数に文字列COFFEEを格納しています。次にMessage変数に文字列'Java is $VAL'を格納しています。これはシングルクォートで囲っているので VAL変数は展開されません。そのため次のecho $Messageを実行したときは、'Java is $VAL'が表示されます。

その後、evalコマンドを実行することでシングルクォートの文字列を変数展開をして第一引数をコマンドとして実行することが出来ます。

実行例

-bash-3.00$ sh ddd.sh
Java is $VAL
Java is COFFEE

evalコマンドは非常に強力なコマンドです。このサンプルでは単純に変数が展開できる程度にしか感じないかもしれませんが、シェルスクリプト上で作成した文字列をプログラムとして実行できるのです。つまり、状況に合わせてスクリプトを作るようなシェルスクリプトを、開発者が作るのが容易に作れるのです。このような機能は関数型言語やメタプログラミングという技法でよく扱われるものです。今はevalコマンドが存在する程度でよいですが、興味があるかたは色々調べてみてください。

目次へ戻る

ヒアドキュメント

<< 'NAME'を書くことで数行を入力にすることが出来ます。'NAME'はどんな名前でもよいです。この機能をヒアドキュメントと呼びます。

簡単なサンプル

#!/bin/sh

cat << HEREDOC
ヒアドキュメントを使うことで
複数行のメッセージや
複数行のコマンド入力などを
書くことができます。
HEREDOC


hello_value="Hello World"
cat << HOGEHOGE
ヒアドキュメント内で変数を参照することも当然出来ます。
hello_value変数は${hello_value}です。
HOGEHOGE

実行例

-bash-3.00$ sh heredoc.sh
ヒアドキュメントを使うことで
複数行のメッセージや
複数行のコマンド入力などを
書くことができます。
ヒアドキュメント内で変数を参照することも当然出来ます。
hello_value変数はHello Worldです。

ftpコマンドをヒアドキュメントで自動化

今度は応用した例です。一般にftpコマンドはユーザがコマンドの入力しながら対話的に使います。けれどオプションの指定によっては、自動で実行できるように出来ます。この例では、ヒアドキュメントを使ってftpコマンドを実行したときにプロンプトを表示せずに、単純にログインした後にステータスを表示してログアウトしています。

これを改良してOSに定期的に実行させるようにすれば、データのアップロードの自動化などが単純に出来てしまいます。

#!/bin/sh
# ヒアドキュメントを利用して、ftpアクセスする。
ftp -in << HEREDOC
prompt off
open 192.168.11.8
user okita okita
status
quit
HEREDOC

実行例

[s-okita@stoc shell]$ sh here_doc.sh
Interactive mode on.
Connected to 192.168.11.8.
No proxy connection.
Mode: stream; Type: ascii; Form: non-print; Structure: file
Verbose: off; Bell: off; Prompting: on; Globbing: on
Store unique: off; Receive unique: off
Case: off; CR stripping: on
Ntrans: off
Nmap: off
Hash mark printing: off; Use of PORT cmds: on
Tick counter printing: off

目次へ戻る

関数

シェルスクリプトは、普通のプログラミング言語と同じなので自分で関数を作ることが出来ます。ここではもっとも簡単な関数の例を記述しておきます。

関数名 () { 処理 }

#!/bin/sh
test_func ()
{
	echo "call test_func"
	return 0
}

#呼び出す
test_func

戻り値の取得

戻り値は組み込み変数の$?を利用します。echo $?を実行することで表示したり、次の分岐などに直接記述します。

#!/bin/sh
test_func ()
{
        echo "call test_func"
        return 5
}

#呼び出す
test_func
echo $?

-bash-3.00$ sh test_f.sh
call test_func
5

引数

引数には、$1,$2,$3のように組み込み変数を利用することで取得することが可能です。

#!/bin/sh
test_func ()
{
        echo "引数の値は、${1}"
        return 5
}

#呼び出す
test_func "hello"
echo $?

目次へ戻る

シグナルのトラップ

OSに異常が発生した場合、OSはシグナル(信号)を発生させます。「火事だ～」、「泥棒だ～」といろいろな状況に応じて警告をしてくれます。自分でもkillコマンドでシグナルを発生させることが出来ます。

シェルスクリプトにシグナルが発生した場合には、どうするかを記述しておけば、その状況に応じてプログラムを強制終了したり、バックアップさせたりと対応できます。

このシグナルを補足する方法はtrapコマンドを利用します。ただひとつだけ例外があってKILL(9)のみ補足することが出来ません。

#!/bin/sh
ECHO=`which echo`

echo "trap test shellscript"

signal_handle ()
{
    $ECHO "signal interupt"
}

# シグナル2,9が発生したときに、signal_handle関数を実行する
trap signal_handle 2
trap signal_handle 9
$ECHO "signal handling list"
trap
sleep 10000

test_s.shという名前で保存し実行してみます。trapコマンドにより、シグナル2のINTとシグナル9 のkill時に補足できる状態になりました。このとき別のコンソールからkillコマンドでシグナルを送ってみたいと思います。

コンソール1:test_s.shを実行

-bash-3.00$ sh test_s.sh
trap test shellscript
signal handling list
trap -- 'signal_handle' INT
trap -- 'signal_handle' KILL

コンソール2:killコマンドでシグナル2を発生させてみる

-bash-3.00$ ps
  PID  TT  STAT      TIME COMMAND
 8995  p0  Ss     0:00.50 -bash
 9267  p0  S      0:00.05 sleep 10000
 9273  p0  S+     0:00.16 sh test_s.sh
  532  p2  S      0:00.05 -bash
  837  p3  S+     0:00.26 -bash
 9238 std  Ss     0:00.20 -bash
 
-bash-3.00$ kill -2 9276

sh test_s.shがプロセス番号が9273として動いています。このシェルスクリプトはsleep状態にしているので、プロセス番号9267にシグナル2を送ります。そうすると以下のようにコンソール1では、test_s.shシェルスクリプトがシグナルを補足して停止します。

-bash-3.00$ sh test_s.sh
trap test shellscript
signal handling list
trap -- 'signal_handle' INT
trap -- 'signal_handle' KILL
signal interupt #シグナル2を送ったのでsignal_handle関数が実行され表示された。

シグナル9のkillを送った場合は、シグナルが補足されないためsignal_handle関数は呼ばれません。実際に実行して試してみてください。

目次へ戻る

API(Application Program Interface)

シェルスクリプトは、組み込みコマンドとそのプラットフォームで使えるコマンドが全てAPIとなります。そのためPerlやRubyなどで出来ることはシェルスクリプトでもほとんど実現が可能です。はじめは文法やコマンドを覚えるのが大変ですが、ある程度コマンド使えるようになると、それが全てプログラミングとして使えるので、データ変換やテストデータを作成する時など非常に重宝します。

組み込みコマンド

findやgrepやwhichなど一般の外部コマンドと呼ばれます。これらはOSについているものでsh自体に付いているコマンドではありません。ではsh自体についているコマンドとは何でしょうか？それを確認するには、コマンドラインでhelpを実行します。helpは組み込みコマンドでシェルに組み込まれているコマンドの説明を表示してくれます。

また、whichコマンドでコマンドの場所が探せる場合は外部コマンドと考えてもよいと思います。そして、builtinコマンドのmanページからも組み込みコマンドであるかどうかを確認できます。

-bash-3.00$ help
GNU bash, version 3.00.0(1)-release (powerpc-apple-darwin7.9.0)
These shell commands are defined internally.  Type `help' to see this list.
Type `help name' to find out more about the function `name'.
Use `info bash' to find out more about the shell in general.
Use `man -k' or `info' to find out more about commands not in this list.

A star (*) next to a name means that the command is disabled.

 %[DIGITS | WORD] [&]               (( expression ))
 . filename [arguments]             :
 [ arg... ]                         [[ expression ]]
 alias [-p] [name[=value] ... ]     bg [job_spec]
 bind [-lpvsPVS] [-m keymap] [-f fi break [n]
 builtin [shell-builtin [arg ...]]  caller [EXPR]
 case WORD in [PATTERN [| PATTERN]. cd [-L|-P] [dir]
 command [-pVv] command [arg ...]   compgen [-abcdefgjksuv] [-o option
 complete [-abcdefgjksuv] [-pr] [-o continue [n]
 declare [-afFirtx] [-p] [name[=val dirs [-clpv] [+N] [-N]
 disown [-h] [-ar] [jobspec ...]    echo [-neE] [arg ...]
 enable [-pnds] [-a] [-f filename]  eval [arg ...]
 exec [-cl] [-a name] file [redirec exit [n]
 export [-nf] [name[=value] ...] or false
 fc [-e ename] [-nlr] [first] [last fg [job_spec]
 for NAME [in WORDS ... ;] do COMMA for (( exp1; exp2; exp3 )); do COM
 function NAME { COMMANDS ; } or NA getopts optstring name [arg]
 hash [-lr] [-p pathname] [-dt] [na help [-s] [pattern ...]
 history [-c] [-d offset] [n] or hi if COMMANDS; then COMMANDS; [ elif
 jobs [-lnprs] [jobspec ...] or job kill [-s sigspec | -n signum | -si
 let arg [arg ...]                  local name[=value] ...
 logout                             popd [+N | -N] [-n]
 printf format [arguments]          pushd [dir | +N | -N] [-n]
 pwd [-PL]                          read [-ers] [-u fd] [-t timeout] [
 readonly [-af] [name[=value] ...]  return [n]
 select NAME [in WORDS ... ;] do CO set [--abefhkmnptuvxBCHP] [-o opti
 shift [n]                          shopt [-pqsu] [-o long-option] opt
 source filename [arguments]        suspend [-f]
 test [expr]                        time [-p] PIPELINE
 times                              trap [-lp] [[arg] signal_spec ...]
 true                               type [-afptP] name [name ...]
 typeset [-afFirtx] [-p] name[=valu ulimit [-SHacdflmnpstuv] [limit]
 umask [-p] [-S] [mode]             unalias [-a] name [name ...]
 unset [-f] [-v] [name ...]         until COMMANDS; do COMMANDS; done
 variables - Some variable names an wait [n]
 while COMMANDS; do COMMANDS; done  { COMMANDS ; }

目次へ戻る

デバック

xオプション

shコマンドには、-xオプションをつけることが出来ます。-xオプションをつけるとインタプリタが一行一行読み込んで実行した事を標準出力に出力するのでデバックが容易に出来ます。

sh -x test.sh

#!/bin/sh -x
  # -xオプションでデバックモードにしている
  cp src.txt /tmp/dist.txt
  echo "cp test ok."

timeコマンド

またtimeコマンドを使うと実行時間を簡単に取得できます。これにより全体でどのぐらい掛かるのかが測定できます。

#!/bin/sh
echo "time command test."

-bash-3.00$ time sh test.sh
time command test.

real    0m0.260s
user    0m0.120s
sys     0m0.020s
-bash-3.00$ cat test.sh

目次へ戻る

実践

実際の開発では、シェルスクリプトファイルに直接コマンドを記述しないことが多いようです。これは、セキュリティ対策とプラットフォーム依存を防ぐためです。例えば、SolarisとLinuxではコマンドが配置されている場所が異なります。以下のシェルスクリプトはsolaris9で動作できます。（/usr/bin/echo）。しかしLinuxではECHOコマンドは/bin/echoにあります。これをすべてのスクリプトファイルに直接コーディングするとメンテナンス性が悪いプログラムが出来てしまいます。

互換性のない例

以下は、/usr/bin/echoコマンドを利用したシェルスクリプトの例です。この場合echoコマンドが/binディレクトリのみの場合正常に動作しません。

#!/bin/sh
/usr/bin/echo "test mesage"

互換性のを保つ例

互換性を保つよい例としては、whichコマンドを使う方法があります。以下のようにはじめにwhichコマンドで変数にechoコマンドの場所を読み込んで、変数から実行させます。

#!/bin/sh
ECHO_COMMAND=`which echo`
$ECHO_COMMAND "test mesage"

互換性のを保つ例を応用する

互換性のあるちょっとしたシェルスクリプトを書く場合は、上記の例で十分ですが、ソフトウェア開発では運用のためのシェルスクリプトをかなりの量書く場合があります。こういう場合は、C言語のinclude文やJava言語のimport文のように、ファイルのはじめの部分でコマンドを読み込ませる方法などがよく使われます。

config.sh

#!/bin/sh
ECHO=/usr/bin/echo
CP=/usr/bin/cp
MV=/usr/bin/mv

test_start.sh

#!/bin/sh
#設定ファイルの読み込み
. config.sh
ECHO "test mesage"

目次へ戻る

計算処理の問題点

シェルスクリプトなどインタプリタ言語は、コンパイルされていないのでインタプリタが一行づつ読み込んで処理をするため、ちょっとした修正で大きなパフォーマンスの変化が得られます。

以下のプログラムは、Celeron300Mhz,Memory640MBの環境で実行途中にエラーが発生したサンプルです。実際に実行してみると分かるのですが、whileループが進むごとに処理が重くなっていくのが分かります。

#!/usr/bin/sh

CNT=0
MAX_SIZE=65536

TMP_DATA="0123456789ABCDEF"
OUT_DATA=""


while [ ${CNT} -lt ${MAX_SIZE} ]; do
        CNT=`expr ${CNT} + 1`
        OUT_DATA="${TMP_DATA}${OUT_DATA}"
        echo ${CNT}
done

echo OUT_DATA

上記、シェルスクリプトを実行すると”スワップ領域不足です。”と警告をうけスクリプトが停止してしまいました。変数OUT_DATAにデータを貯めていくものですが大きなデータを演算することが出来ないようです。メモリ上でデータを保持するのではなくこまめにファイル出力することで問題解決する方法を記述します。

#!/usr/bin/sh

CNT=0
MAX_SIZE=65536

TMP_DATA="0123456789ABCDEF"
OUT_FILE="test.dat"


while [ ${CNT} -lt ${MAX_SIZE} ]; do
        CNT=`expr ${CNT} + 1`
        /usr/bin/echo "${TMP_DATA}\c" >>  ${OUT_FILE}
        echo ${CNT}
done

cat  ${OUT_FILE}

目次へ戻る

Bourneシェルスクリプト入門(+bash)

ファイルに実行権限を付けて実行

直接シェルを実行

変数

シングルクォートとダブルクォートの違い

空白とヌル(null)文字

シェル変数

特殊変数

環境変数(environment variables)

変数と環境変数の違い

exportコマンドの互換性を意識する

変数置換

分岐

様々な分岐処理条件

Case文

反復処理

パイプ

リダイレクト

標準出力

標準エラー出力

数値計算

eval 再帰的な実行

ftpコマンドをヒアドキュメントで自動化

戻り値の取得

引数

組み込みコマンド

xオプション

timeコマンド

互換性のない例

互換性のを保つ例

互換性のを保つ例を応用する

プログラミング

データベース

ソフトウェア

バージョン管理システム

コミュニケーション

ハードウェア

環境構築

実験室

資格

その他の記事