Bash编程

2016-04-01

虽然可以用python、R写脚本，但喜欢上bash不拘小节的风格。可以将各种命令行的程序看作bash内置的命令，黏合在一起，真正做到pipeline。而且bash本身的一些命令工具，如wc、grep、awk、sed等，小巧、方便，是python等无法达到的。总之，bash很适合大数据处理。

1. 系统配置

.bashrc
.bash_profile # R语言中是.Rprofile

2. X11 (X-window)

X11: xming, Cygwin/xwin
VNC: fastx

3. 文件管理系统

/   root
~/  home
./  current directory
../ last directory

4. 输入输出

read a						#赋值给a
echo $a						#显示a
a=`command` OR $(command)	#把命令结果赋值给a
/dev/clipboard				#cat /dev/clipboard  echo $a > /dev/clipboard

5. 重定向与管道命令

1
2
3

>/>>: 输出到文件
|: 输出到控制台(下一个命令)
tee: 既输出到控制台，又输出到文件。 tee test.txt

6. $() ${}Command substitution

1
2
3

$(command) = `command` # 命令取代, `a=$(head -10 a.txt)`
${a} ${#a} ${a[*]}       # 变量取代
$((1*2))                 # 算数运算取代

7. 变量$与数组()

a=(1 2 3 4 5 6)
a={1..10}  OR  {a..z}  OR {a..c}{1..3}
a=(`seq 1 1 10`) # a=`seq 1 1 10` doesn't work! seq is used to create strings; ( ) is for array!
${a[0]}		# get the first element of a
${a[*]}		# get the whole elements in a; * can be replaced by @.
${a[*]:1:6}	# get the elements from 2nd to 6th
${#a[*]}	# get the length of a

8. 字符串

字符串被看成一种特殊数组，所有字符串的处理都通过${}进行($’\n’是换行符)

str=ATGCTAGCTAGCACGTAGCTACGTACGTACGTACGTAGCTAGTA
${#str}
${str:1:2}
${str/substring/replacement} or ${str//substring/replacement}  # substring can be a regulation expression
example count a leter: a=${str//[^a]}; echo ${#a}
${str^^}  ${str,,}  #大小写转换
tr set1 set2  		# set1 set2中元素是一一对应的，可以用POSIX字符：
[:alpha:]  [:digit:]  [:alnum:]  [:blank:]  [:lower:]  [:upper:]

9. 函数

#定义
#在函数体内，通过 $n 获取参数值，$#为参数个数，$@为所有的参数($*将$@作为整个字符串输出)
function foo() {
statements
return
}
#调用
foo

10. 控制语句

分支:

if [condition]; then
   ...
elif [condition]; then
   ...
else
   ...
fi

循环:

for i in $(seq 10)
do
    commands
done

for((i=0;i<=10;i++))
do
    commands
done

while condition
do
    command
done

while read line
do
    echo $line
done < file.txt

while : #开启无限循环
do
    echo -n "输入 1 到 5 之间的数字:"
    read aNum
case $aNum in
1|2|3|4|5)
echo "你输入的数字为 $aNum!"
\*)
echo "你输入的数字不是 1 到 5 之间的! 游戏结束"
    esac
done

11. 查看文本head/tail, cat/more/less, hexdump

head/tail:
cat: 一次读入文件到内存 cat -n
more: 一次读入文件到内存；交互式操作(如=输出当前行号)
less: 分次读入文件到内存；交互式操作(如?查找) less -S -N
hexdump: 查看二进制文件

12. 处理文本grep/sed/awk

grep: 可以正则表达式,grep -c grep -o 显示多个
egrep:
sed: stream editor   sed ‘s/y/Y/g’ file1.txt > file2.txt
awk: awk ‘BEGIN{} condition{loop} END{}’ file.txt

13. 多线程/并行&, xargs, parallel

&并行, &&串行
xargs：
parallel：The default is to run one job per CPU
    |或者:::从前面或后面传递参数
    parallel command ::: file.txt
    cat file.txt | parallel --pipe -j 10 commands    #--pipe split stdin (standard input) to multiple jobs:
-j the number of jobs
    cat file.txt | parallel --block 10M --pipe commands