Skip to content

AI STUDIO Taiwan

台 灣 人 工 智 慧 與 資 料 科 學 研 究 室

  • About 關於本站
  • 專欄列表
  • Taiwan NLP.台灣自然語言處理與人工智慧交流社( 1.8萬位成員)
  • 關於 Taiwan NLP 社群

高效能運算HPC與台灣杉三號的使用

Posted on 2021 年 8 月 29 日2023 年 8 月 24 日 By 楊 明翰 在〈高效能運算HPC與台灣杉三號的使用〉中尚無留言
HPC 高效能運算
Print Friendly, PDF & Email

這裡說明如何向國網中心的超級電腦叢集台灣杉三號提交HPC計算任務。台灣杉三號的計算資源調度是透過Slurm這個軟體來進行,而使用Slurm來提交任務需要編寫任務腳本

內容目錄

  • 撰寫任務腳本
  • 查詢目前任務狀態
  • 參考資料

撰寫任務腳本

這裡簡單示範任務腳本 my_job.sh 的撰寫方式  :

ShellScript
#!/bin/bash


#SBATCH -J Job_Name # 任務名稱,可自訂
#SBATCH -A XXXXXX   # 計畫(專案)名稱,付費的帳號ID
#SBATCH -p XXX   # 想要使用的節點,可自選         
#SBATCH --cpus-per-task=16  # 按照選擇的p的CPU數量設定,例如16
#SBATCH --mem=32g   # 按照選擇的p的記憶體設定,例如32GB
#SBATCH -o %j.log # 標準輸出導向到檔案.log
#SBATCH -e %j.err # 錯誤輸出導向到檔案.err
#SBATCH --mail-type=BEGIN,END,FAIL  # 開始,結束,失敗都要寄信
#SBATCH --mail-user=whuang022@gmail.com  # 收件email


module load pkg/Anaconda3 # 用 module指令載入Anaconda3
conda activate xxx_env # conda 啟用xxx_env的虛擬環境
python3 xxx.py # 執行xxx.py

腳本的#SBATCH欄位的資訊必須按照要提交的任務以及節點性質填寫,填寫完成之後,下指令sbatch提交任務即可:

sbatch my_job.sh

當任務開始跑的時候,系統就會寄信到信箱,假如中途失敗也會。

查詢目前任務狀態

如果要查詢目前的任務執行情況,可以用以下兩個指令:

squeue -u [使用者名稱]
squeue -j [任務ID]

參考資料

https://man.twcc.ai/@TWCC-III-manual/H1bEXeGcu

https://man.twcc.ai/@TWCC-III-manual/Sy9-QqHiO

以上就是如何使用台灣杉三號的HPC計算資源的簡單介紹。

✔ 幫我們按個喜歡和分享,支持我們

平均分數 0 / 5. 給分人數 0

尚未有評分,請幫我評分歐

楊 明翰
楊 明翰

是一名八年級中段班的創業者與資料科學家

“With belief and action, we change the world.”

憑藉信念與行動,我們改變世界💪

更多關於站長

本文允許重製、散布、傳輸以及修改,但不得為商業目的之使用

使用時必須註明出處自:楊明翰 , 台灣人工智慧與資料科學研究室 https://aistudio.tw

標籤: HPC Slurm 台灣杉三號

文章導覽

❮ Previous Post: 【Python Flask 網站開發】Flask超詳細入門
Next Post: 【站長哲學】養成去書店翻書或圖書館讀實體書的習慣 ❯

發佈留言 取消回覆

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *

更多AI相關資訊,歡迎加入站長的粉絲團

Facebook

閱讀視覺風格選擇


實驗袍白 / 適合資料分析師、科學家
終端機黑 / 適合黑客、電腦工程師

專欄列表

  • Artificial intelligence 人工智慧 (3)
    • HPC 高效能運算 (1)
    • PyTorch (1)
    • 從頭實作AI (1)
  • Backend 後端開發 (1)
  • C++ 應用 (2)
  • Community 社群介紹 (1)
  • Data Engineering 資料工程與訊號分析 (1)
  • Java 開發與教學 (2)
  • Linux 入門 (5)
  • NLP/NLU 自然語言處理與理解 (4)
  • Philosophy 站長哲學 (5)
  • Python 開發與教學 (7)
    • Python Flask 網站開發 (1)
    • Python 中階 (1)
    • Python 入門 (5)
  • Slides會議簡報 (12)
  • Start-up 創新創業 (7)
  • 機器學習數學基礎 (1)
  • 私人筆記手稿 (4)
  • 線上教學目錄 (4)

近期發布

  • 【Linux 應用】使用Zenity零成本開發的多開瀏覽器管理器
  • 【Start-up 創新創業】如何選擇創業題目
  • 【自然語言處理與理解】Llama-2大語言模型CPU版本使用
  • 【個人演講】AI EXPO 2023 ChatGPT以及LLM
  • 【自訓課程】NGS 次世代基因體資料科學 課程

討論

尚無留言可供顯示。

年份彙整

  • 2023 (9)
  • 2022 (4)
  • 2021 (6)
  • 2020 (14)
  • 2019 (8)
  • 2018 (10)
  • 2017 (2)
  • 2016 (4)
  • 2015 (2)

ChatGPT GRU HPC llama-cpp LLM Log4J LSTM Node.js SMO SVM Zenity 人工智慧 人格特質 出資 創新 創業 多語言 多開瀏覽器 大語言模型 感知機 戰鬥 技術 技術合夥 技術股 撰寫程式 新創 新手 新聞輿情 最佳化 機器學習 死亡 現代C++ 系統日誌 股東權益 能力 證明 變數 負債 資本 資產負債表 長短期記憶 霍普菲爾 類神經網 類神經網路 風險

調整字型大小

A 縮小字型大小。 A 重設字型大小。 A 放大字型大小。

Copyright © 2023 AI STUDIO Taiwan.
聯絡我們 : whuang022@gmail.com
This site is protected by reCAPTCHA and the Google Privacy Policy and Terms of Service apply.

Theme: Oceanly by ScriptsTown