Fugaku_storage_cache

links

• 8.2.4. 共通ファイル配布機能 (llio_transfer)

• 8.2.4.2. 共通ファイル配布のヒント

キャッシュによる先読み

• 事前準備
  　- 容量 第2階層ストレージのキャッシュ領域 = 87GiB - (ノード内テンポラリ領域 + 共有テンポラリ領域)なので未設定なら87 GB使える

  • ノード内テンポラリ領域 'pjsub --llio localtmp-size=XGi'で指定
    • パス名は、ジョブ内で環境変数${PJM_LOCALTMP}により参照できます
  • 共有テンポラリ領域 'pjsub --llio sharedtmp-size' で指定
    • パス名は、ジョブ内で環境変数${PJM_SHAREDTMP}により参照できます
  • テンポラリ領域はjob終了後には内容は消えるので必要ならその前にcpすること
  • tmpfsは上記とは違って実行時RAMdisk　参照は3.4.5.2. tmpfs領域の利用方法

• 配布　　

• ファイル配布 llio_transferで対象fileをひとつずつ指定
  yourPATH='/your/folder'
  yourexe='nrniv -mpi'
  llio_transfer ${CACHEPATH}/${yourexe}
  --　フォルダ配布 /home/system/tool/dir_transfer で　フォルダ指定（複数指定可能）
  '/home/system/tool/dir_transfer -l ./log ./libA ./libB'
  ディレクトリ ./libA および ./libB が転送され、ログが ./log 配下に出力されます。
  　　

キャッシュ動作の制御

--llio sio-read-cache={on|off}’　読みこみキャッシュ（同一ファイルノード内で複数回読み込むときは有効´
--llio async-close={on|off}　書き込み時の非同期すると動作が高速化（同一ファイルの読み書きがある場合はオフにすべき)

出力場所の分散や指定関係はジョブ出力の制御と高速化 へ