LLM

Rintaが書いた

TransformerとMoEとは?〜それぞれの仕組みと違いをとても簡単に説明したい〜

みなさんこんにちは。皆さんは、チャットAI使っていますでしょうか?最近Lama4が出て、「MoEアーキテクスチャが使われててなんかすごい!」と評価されてる印象ですが、友達が「時代はTransformerじゃなくてMoEですよ」と言っていて「...
LAL

【初心者向け】かんたんなファインチューニングをする方法!学習データの作り方からgoogle colabやローカル環境でする方法まで

みなさんこんにちは!今回は、ファインチューニングをして簡単なチャット向けSLMを作って行こうという試みです。colab上や、自分のパソコンでする方法も説明していきます。できる限り簡単に説明していくのでお願いします! 用語の確認 今回していく...