Repositories list

• exam

  Public
  Jupyter Notebook

  •0•0•0•0•Updated Aug 6, 2024Aug 6, 2024

• EvalPractice

  Public
  Evaluationの練習をするrepo

  Python

  •0•0•0•0•Updated Jun 7, 2024Jun 7, 2024

• LLMGCP

  Public
  Python

  •

  MIT License

  •1•0•0•0•Updated Jun 3, 2024Jun 3, 2024

• Dataset_for_BTM

  Public
  データセットを統合､クリーニング､クラスタリング､重複削除するパイプライン

  Jupyter Notebook

  •

  MIT License

  •0•5•0•1•Updated Jun 1, 2024Jun 1, 2024

• Dataset_PMC

  Public
  事前学習データセットとしてPMC OAを検討します.

  Python

  •0•0•0•0•Updated May 31, 2024May 31, 2024

• llm

  Public
  Python

  •

  MIT License

  •1•11•0•0•Updated May 22, 2024May 22, 2024

• ChatServer

  Public
  Jupyter Notebook

  •0•0•0•0•Updated May 1, 2024May 1, 2024

• Dataset_mC4

  Public
  mC4のデータ加工を検討するためのレポジトリ

  Jupyter Notebook

  •

  MIT License

  •1•0•0•0•Updated Apr 18, 2024Apr 18, 2024

• wiki

  Public
  wiki系をparseする

  Jupyter Notebook

  •

  MIT License

  •0•0•0•0•Updated Apr 9, 2024Apr 9, 2024

• CommonCrawlPDF

  Public
  CommonCrawl PDFをダウンロードするscript

  Jupyter Notebook

  •

  MIT License

  •0•2•0•0•Updated Apr 9, 2024Apr 9, 2024

• Annotation_App

  Public
  LLM学習データのノイズ判定器学習用のアノテーションデータの作成するアプリ

  0•0•0•1•Updated Apr 8, 2024Apr 8, 2024

• FastChat

  Public
  FastChatの編集版

  Python

  •

  Apache License 2.0

  •0•1•0•0•Updated Mar 23, 2024Mar 23, 2024

• mlstorage_dataset

  Public
  0•0•0•0•Updated Mar 21, 2024Mar 21, 2024

• dedup_test

  Public
  dedupを高速で行うテスト

  MIT License

  •0•0•0•0•Updated Mar 21, 2024Mar 21, 2024

• Dataset_CommonCrawl

  Public
  0•0•0•0•Updated Mar 11, 2024Mar 11, 2024

• common_crawl_extraction_script_ver

  Public
  Python

  •0•0•0•0•Updated Mar 8, 2024Mar 8, 2024

• .github

  Public
  0•0•0•0•Updated Mar 7, 2024Mar 7, 2024