這裡說明如何向國網中心的超級電腦叢集台灣杉三號提交HPC計算任務。台灣杉三號的計算資源調度是透過Slurm這個軟體來進行,而使用Slurm來提交任務需要編寫任務腳本
撰寫任務腳本
這裡簡單示範任務腳本 my_job.sh 的撰寫方式 :
ShellScript
#!/bin/bash
#SBATCH -J Job_Name # 任務名稱,可自訂
#SBATCH -A XXXXXX # 計畫(專案)名稱,付費的帳號ID
#SBATCH -p XXX # 想要使用的節點,可自選
#SBATCH --cpus-per-task=16 # 按照選擇的p的CPU數量設定,例如16
#SBATCH --mem=32g # 按照選擇的p的記憶體設定,例如32GB
#SBATCH -o %j.log # 標準輸出導向到檔案.log
#SBATCH -e %j.err # 錯誤輸出導向到檔案.err
#SBATCH --mail-type=BEGIN,END,FAIL # 開始,結束,失敗都要寄信
#SBATCH --mail-user=whuang022@gmail.com # 收件email
module load pkg/Anaconda3 # 用 module指令載入Anaconda3
conda activate xxx_env # conda 啟用xxx_env的虛擬環境
python3 xxx.py # 執行xxx.py
腳本的#SBATCH欄位的資訊必須按照要提交的任務以及節點性質填寫,填寫完成之後,下指令sbatch提交任務即可:
sbatch my_job.sh
當任務開始跑的時候,系統就會寄信到信箱,假如中途失敗也會。
查詢目前任務狀態
如果要查詢目前的任務執行情況,可以用以下兩個指令:
squeue -u [使用者名稱]
squeue -j [任務ID]
參考資料
https://man.twcc.ai/@TWCC-III-manual/H1bEXeGcu
https://man.twcc.ai/@TWCC-III-manual/Sy9-QqHiO
以上就是如何使用台灣杉三號的HPC計算資源的簡單介紹。
本文允許重製、散布、傳輸以及修改,但不得為商業目的之使用
使用時必須註明出處自:楊明翰 , 台灣人工智慧與資料科學研究室 https://aistudio.tw