超算平台上机步骤.pdf

超算平台上机步骤 中国科学技术大学·超级计算中心 沈瑜 2014/4/8 从浏览网页开始 http://scc.ustc.edu.cn 申请账户 1. 阅读申请注意事项 2. 下载申请表填写 3. 用email将申请表发给 sccadmin@ustc.edu.cn 注意；学生申请前要得到导师 同意，给sccadmin发email要抄 送给导师。 软件设置与登录 XShell+XFTP PuTTY+WinSCP • 界面更友好 • 多tab窗口适合同时登 录多个服务器 • PuTTY界面更简洁 • WinSCP可根据文件类 型调用不同的编辑器 XShell设置：服 务器 名称：自己设置 协议：SSH 主机：服务器IP地址 端口号：22 Xshell设置： 字符编码 服务器默认使用UTF-8编 码以支持中文 Xshell使用：常用工具 XFTP使用 文件传输 注意传输模式： • • 二进制 文本 PuTTY设置： 服务器 PuTTY设置：编码 PuTTY设置：字体 插曲：常用字体 • 等宽字体，方便缩进对齐 • 能够明显区分容易混淆的数字字母： 0,O; I,l,1 Consolas PuTTY设置：颜色 PuTTY设置：保存 PuTTY使用：启动 首次启动会有提示：对服务器 验明正身 输入用户名密码（密码不回显） 出现登录提示：系统介绍，提 交作业范例，注意事项，近日 提示等等 检查1.磁盘空间是否正常最近2. 登录IP是否正常 再次查看登录提示： cat /etc/motd PuTTY使用：菜单 PuTTY会把所有键盘指令传给服 务器，因此不支持windows标 准的键盘快捷键（比如F10、 ALT+Space等等） 点击窗口左上角图标或者右键 点击标题栏可调出菜单 界面更友好的PuTTY：PieTTY 账户安全问题 • 弱密码的危害 • 黑客破解使用弱密码的普通用户 利用系统漏洞获 得管理员权限 • 危险客户端 • 非官网下载的putty客户端被修改，导致用户账户密 码泄露 • 怎么创建一个好密码：一句话首字母（符号）组 合；某些字母换成数字符号（火星文） • 用密码管理软件记住无规律的复杂软件： KeePass WinSCP设置： 服务器 文件协议：SFTP 主机名：服务器IP地址 端口号：22 用户名：ssh用户名 密码：用户密码 右键点击站点名称可进行重命 名等各种操作 WinSCP设置：界面 WinSCP界面：Commander WinSCP界面： Explorer 类似Windows的文件管理器 可以鼠标拖动方式管理文件、 传输文件，鼠标双击打开编辑 文件 WinSCP设置：编辑器 • Windows下编辑，保存后自动 上传服务器 • 针对不同的文件类型设置不同 的编辑器 例子：Fortran文件用 Programmers notepad； Shell、awk脚本用SciTE； Matlab脚本用Gvim; Markdown标 记语言用markdownpad2……; • 双击自动下载打开编辑，保存 后自动上传更新。 插曲：编辑器 • 区别不显示字符（空格与tab，LF与CR+LF） • 语法高亮 • 自动补全 • 代码折叠 • 对不等宽字体的支持 •… 文件传输 • 二进制模式和文本模式：换行问题 Linux基本命令 • 登录服务器后进入linux字符界面，当前目录为各人的主目录（~）， 除IBM JS22外，其他服务器的Shell是Bash。 • 常用Bash命令： • ls: 列出当前目录下文件(参数： -h, -l, -a, … ) • cd：改变目录 • pwd：查看当前工作目录 • cat: 查看文件内容 • more/less：分页显示 • 常用linux程序： 编辑器：nano，vim 压缩打包程序：tar, gzip, bzip Tab补全：输入命令或者参数前几个字符后按tab，如果只有一种可能 则自动补全，否则再按一次tab会列出所有可能选择。 --help:一般命令加上—help可输出提示信息。 Linux查看帮助 • 查看帮助命令：man 编辑文件:Nano • 单模式编辑器 • 大部分指令都是ctrl/alt/快捷键 • Ctrl+G：获取帮助(Get help) 编辑文件：VIM 多模式编辑器 • 普通模式：启动后默认进入普通模式。该模式下可执行一般的编辑命令，比如复制、剪切、 粘贴移动光标等。编辑命令为普通按键，一般无需ctrl或者alt；任何模式下按Esc键都会返 回普通模式。 • 插入模式：在普通模式下按i（在光标当前位置插入文本）或者a（在光标后面一个字符的 位置插入）等命令可进入插入模式。该模式下可输入文件内容。 • 可视模式：在普通模式下按v进入可视模式（按ctrl+v进入列选择模式）。在可视模式下移 动光标会选择一段文本，这时执行其他命令将作用到选中的文本上。 • 命令模式：在普通模式下按:进入。可进行打开/保存文件（:o :e），退出vim(:q :q!)，搜索 /替换(/?s)等操作 编辑文件：VIM • 简单指令： • • • • • • i/a/o/O（在当前位置/下个字符/下一行/上一行插入文字） h/j/k/l（向左/上/下/右移动光标）， gg/G/0/$（移动光标到文件开始/文件结束/当前行开始/当前行结束） w/W/b/B (按单词/词组移动) x（剪切/删除一个字符）， p/P（下个字符位置/当前位置上粘贴）， • 复杂指令：动词+宾语，数字修饰，其他修饰 • 动词：y（复制），d（删除），c（更改：删除已有内容并进入插入模式），…… • 宾语：gg（文件头），G（文件尾），0（行首），$（行尾），w（单词），b/[/{（小/中/大括号），’/” （单/双引号），…… • 数字修饰：命令前加数字表示重复该命令几次 • 其他修饰：i（括号/引号内部），a（包括括号/引号所有内容） • 快捷操作：yy（复制当前行），dd（删除当前行）…… • 例子： • 从当前光标复制到行尾：y$ • 删除2个单词：2dw • 改变单引号内容：光标移动到括号部分后顺序按下 c i ‘ • 删除包括小括号的所有内容：光标移动到括号部分后顺序按下 d a b 编辑文件：VIM • 文件操作： • :e+文件名 – 打开文件 • :e+目录名 – 打开目录文件列表 • :e! – 将文件恢复到上一次保存时状态 • :w – 保存文件 • :w+文件名 – 将编辑内容保存到文件 • :q – 退出vim • :q! – 放弃未保存的修改强制退出vim • 简单搜索命令：/（向后搜索）?（向前搜索）*（搜索光标处单词） • 替换命令： • 当前行替换：:s/xxx/yyy • 全文替换：s前加%， :%s/xxx/yyy • 替换一行中的多个匹配项：最后加/g，:s/xxx/yyy/g • 自动补全：插入模式下按ctrl+p 编译程序：Intel FORTRAN • 单文件编译： • Ifort -o 可执行文件名 源程序文件名 • 一般应加入-O2优化参数 • 多文件编译： • 直接编译：ifort -o 可执行文件名 所有源程序文件列表 • 写makefile然后使用make命令 • 编译OpenMP程序： • 加入 -openmp参数： ifort –openmp –o可执行文件名 源程序文件名 • 运行前要设置并行线程数：export OMP_NUM_THREADS=16 • 编译MPI并行程序： • 用mpiifort代替ifort编译 • 提交作业运行时要加入mpijob参数 我要提交任务 • 排队不插队——用bsub而不是直接运行 • 日志文件很重要-o %J.log -e %J.err • 具体队列设置请看登录提示或者登录服务器后使 用cat /etc/motd命令 • 注意：合理使用队列 • 直接运行的程序会被随时中止 • 实际使用CPU超出申请CPU的任务也会被随时中止 使用VASP • 提示：VASP通信开销大，尽量避免跨节点运行，如果必须跨节点运行要使用带infiniband的服务 器：ustcgpu和ChinaGrid • 服务器上有编译好的vasp，在~/.bashrc里面加入： • PATH=$PATH:/opt/vasp5.2/vasp; export PATH • PATH=$PATH:/opt/vasp5.2/vasp5.2/vasp; export PATH（ ustcgpu 集群） （sugon和chinagrid集群） 来设置PATH环境变量；或者将相应目录里面的vasp复制到个人的~/bin目录即可使用。 • 运行VASP，需要使用mpijob队列 bsub -q long -n 96 -o %J.log -e %J.err mpijob vasp • 参考资料： http://scc.ustc.edu.cn/zlsc/jsrj/201011/t20101108_75098.html 使用Gaussian • 跨节点并行效果差 • 可能消耗内存较大：如果有必要请申请sugon集群上的大内存队列fat48和fat64 • 使用Gaussian的用户需要在申请表中说明 • Gaussian用户环境变量设置 将下面设置加入用户的.bashrc中 g09root=/opt/g09-D01 GAUSS_SCRDIR=/tmp export g09root GAUSS_SCRDIR . $g09root/g09/bsd/g09.profile • 运行Gaussian • bsub –q normal –n 12 –o %J.log –e %J.err g09 jobname • 参考资料：http://scc.ustc.edu.cn/zlsc/jsrj/201011/t20101108_75104.html 使用Gaussian：更多设置 • 内存设置 • 默认使用256MB（32MW）动态内存 • 使用%Mem设置内存，单位可以是双精度字(8字节)，KB,MB,GB,TB,KW,MW,GW,TW %Mem=40000000 (使用320MB) %Mem=1GB • 一般来说，使用N个基函数的话需要最少3N2双精度字 • 临时文件设置 • 临时文件包括：检查点文件（.chk）,读写文件（.rwf），双电子积分文件（.int），双电子积分的导 数文件（.d2e）。其中，一般情况下读写文件是最大的。 • 临时文件可以指定名称和位置： • • %RWF=路径 • %Int=路径 • %D2E=路径 临时文件还可以分割为多个文件，例如： • • %RWF=位置1，大小1，位置2，大小2，…… 注意：目录必须在末尾包含斜线(/) 使用MATLAB • 设置环境变量： 在.bashrc里面加入： PATH=$PATH:/opt/MATLAB/R2013b/bin; export PATH • 没有图形界面，使用matlab -nodisplay启动字符界面 • 使用matlab -nodisplay -r 脚本文件名（不包括.m扩展名）来非交互模式运行程序 • 提交任务示例： 串行任务： bsub -q serial -o %J.log -e %J.err matlab -nodisplay -r serial_job> result 并行任务： bsub -q normal -n 12 -o %J.log -e %J.err matlab -nodisplay -r parallel_job > result 我的任务怎么样了 • 我自己有什么任务：bjobs • 我要看所有人的任务：bjobs -u all • 哪些人在排队：bjobs -p -u all • 终于运行了，看看怎么样了：bpeek 我的任务正常么？ • 查看系统实时运行情况：top • 更方便的查看：网页监控，Ganglia监控 查看系统实时负载：top • 使用ssh登录系统 • 找到自己作业所在的计算节 点:bjobs • ssh到该节点后运行top命令 • 在top运行界面按1可查看每 个cpu核心负载 • 注意检查负载是否正常，比 如sy占用率很高则表明系统 没有完全用来计算（比如在 sugon系统上跨节点计算vasp 造成通信占用时间过长。） 网页监控 超算主页运行监控 点击图片可查看系统运行 统计信息 Ganglia监控 超算主页运行监控Ganglia 系统监控 可查看各个计算节点CPU、内 存、硬盘、网络等具体信息 ChinaGrid集群还可以查看 Infiniband利用情况 校外使用 • 服务器仅限校内直接登录，校外使用需要通过 VPN服务。 • 教师请使用网络中心提供的免费VPN服务 • 学生可申请超算中心VPN：http://scc.ustc.edu.cn/vpn • VPN无法连接时请提供具体登录信息 有问题了怎么办 • 使用QQ群、email、电话咨询 • QQ群：8355136 (可直接留言提问) • Email: sccadmin@ustc.edu.cn • 电话：63602248 (8:00~12:00, 14:00~18:00) • 提供完整的信息：服务器、用户名、工作目录、 任务id等 • Log文件很重要