48歳からの挑戦

47歳で脱サラ、48歳で起業したおじさんの奮闘ぶりをご紹介しています

ChatGPTとGeminiとClaudeの比較実験〜ランニングプラン作成

連日の生成AIネタで恐縮です^^;;

 

こういう新しいことは、頭で理解するより身体で覚えるほうが身に着けやすい、と言い訳がてら、いろいろと試しています。

 

これまでの実験では

 

・読書会という壁打ち

 ChatGPT:壁打ち相手としては一番心地よかった

 Claude:一部正確性に欠ける面があったが言われたことはきちんとやる印象

 Gemini:一部正確性に欠ける面があり、ちょっとやりにくい印象

 

→ ChatGPTが自分には合ってそう

 

・Webページ作成のCoding(HTML、CSS、Javascript)

 ChatGPT:正確性に欠け何度も手直しを必要とした

 Claude:正確に指示通りの作業を行った

 Gemini:使い物にならなかった

 

→ Claudeが最もいいパフォーマンスでした

 

という結果がでていました。

 

今回は、「ランニングプランを作成する」という比較をしてみました。

 

ちょっと専門性を必要とする内容です。

 

さて、どんな結果がでるか(^^)

 

まず、こちらから送るプロンプトの概要は以下のようにまとめました。

・「あなたは初心者ランナーに適切な指導をする優秀なコーチです。」とAIの立場を設定する

・4月、5月、6月、10月に予定しているレースを具体的に伝える

・自分の目標を伝える

・昨年秋からの足の状況を伝える

・練習できる曜日を伝える

・これまでのレースの回数、自己ベスト記録を伝える

・各レースに対する自分の期待値(完走するタイム)を伝える

・その週に行った練習メニューを伝える

・4月のレースまでの練習メニューを作成することを依頼する

・質問があれば必ず訊いてくるよう指示

 

できるだけ具体的に伝えることで、生成AIが”推論”しやすい環境を作るのがポイント。

 

さあ、どんな結果がでたでしょうか・・・

 

●ChatGPT(有料会員でAutoモード)

・質問はなく、一気に出力してきた

・出力までの速度は3つの中で一番速かった

・最初は曜日のみで日付の記載がなかったので、日付を入れるよう、後から指示した。

・最初の曜日のみの表示では日付がずれていた可能性あり

・レース前日までの毎日のメニューは「距離」と「ペース」で提示してきた。距離に視点をおいている。

・内容は一定ペースでのランのみ。

・1回入れたいロングランはレース1週間前に20km

・レース前日は完全休養を指定

・「プランの意図」を提示:ウルトラマラソンへの土台作り&怪我防止

・「レース直前のアドバイス」:炭水化物と水分をとる

・「レース当日のアドバイス」:前半指定したペースを守り25km以降は余裕があればあげる

・「ウルトラマラソンにむけて」:かなり詳細なアドバイスが記載されていた

 

●Claude(無料版:Sonnet4.6)

・まず「1日にかけられる練習時間」「現在の膝の状態」「練習できる環境」について質問がきた。

・出力が終わるまでは数分かかった

・日付と曜日がずれていて(2027年の日程になっていた)、2回も修正指示を送った

・レース前日までの「走行時間」と「ペース」、「目安距離」で提示してきた。時間に視点をおいている。

・内容は一定ペースのランだけでなく、ペースをあげるインターバルを週1いれてきた

・1回入れたいロングランはレース1週間前に80分で約12km。これは私が「1日にかけられる練習時間」を45〜60分と答えたからかもしれない。

→ 後日「1日にかけられる練習時間」を150分に引き上げたら、ロング走を3回入れてきました。3週前に90分、2週前に120分、1週前に150分。

ただ、150分走を「レース2週前に」と表現しているので、時間計算がずれていそう。

・レース前日は軽いジョグを指示される。

・「プランの意図」を提示:脚作りと完走自身回復が4月レースの目標、という提示

・「レース直前のアドバイス」:なし

・「レース当日のアドバイス」:レースのペースと補給についてアドバイス。前半は抑える。

・「ウルトラマラソンにむけて」:特に記載なし

 

●Gemini(無料版:Pro)

・”コーチ”からの挨拶あり

・まず各レースの自分の期待値に対する”コーチ”からの提案タイムを提示してきた

・練習メニューの概要をまず説明してから詳細の日付ごとのメニューを提示

・メニューはほぼ「時間」と「ペース」で提示。時間に視点をおいている。

・内容は一定ペースのランだけでなく、ペースをあげるインターバルをいれているが、ほとんどがジョグレベル

・1回入れたいロングランはレース2週間前に20km(150分)

・レース前日は軽いジョグを指示される。

・「プランの意図」を提示:怪我再発防止を最重要視していると説明あり

・「レース直前のアドバイス」:なし

・「レース当日のアドバイス」:なし

・「ウルトラマラソンにむけて」:なし

・なお、この出力が終わった直後に「Proの利用制限に到達しました。◯時間後にリセットされます」という表示がでた。

 

 

以上三者三様の出力でした。

 

評価をしてみます。

・速度:ChatGPTがダントツで早いが、他は気になるほどではない。

・質問:ChatGPTは一気に出力をして、「さらにウルトラ対策で精度をあげたい」と質問を送ってきたのに対し、Claudeは最初に練習に対する制約について質問を投げてきた。Geminiは出力後に脚の状態について質問があり、脚の保護についてのアドバイスを追加してきた

・内容:Claudeが一番バリエーションがあって実践的な印象。ただGeminiも「怪我防止」という点にこだわった内容である可能性あり。ロング走のタイミングはGeminiが一番納得感があるかなぁ

・アドバイス:ChatGPTが一番ボリュームがあった。Geminiは「レースに対するアドバイスが必要か?」と最後に訊いてきた。

・寄り添い度:ChatGPTが一番ある印象。やたら持ち上げるし、言葉も多い。

・正確性:Claudeの日付のミスが目立った

 

ざっくりとした印象は

・ChatGPT:チャットのやり取りを楽しむ

・Claude:ミスが多いけど言われたことをちゃんとこなそうという姿勢を感じる

・Gemini:独自の視点を重視する

という感じでしょうか。

 

さあ、どのプログラムでやろう。。。

 

今日のハウスの桜、定点観測です。少しずつ花が増えてきました(^^)

 

ちょうどメジロがやってきて桜の花の蜜を吸っていました(^^)