コンペサイト：
https://www.kaggle.com/competitions/google-code-golf-2025/overview
概要：
このコンテストでは、 ARC-AGIベンチマークスイートから抽出された様々なタスクを、可能な限り少ない文字数で解くプログラムを開発します。トップチームが作成した簡潔な実装は、この画期的なデータセットの標準的なリファレンスソリューションとして役立つ可能性があります。
詳細：
最先端のAIシステムは目覚ましい進歩を遂げているにもかかわらず、訓練で扱った問題を超える新たな問題を提示されると、依然として苦戦を強いられます。この限界は、フランソワ・ショレ氏のARC-AGIベンチマークスイート（およびそれに続くARC Prize 2024およびARC Prize 2025コンペティション）によって浮き彫りになりました。ARC-AGIベンチマークスイートでは、各タスクが特定の変換を示す一連の<入力,出力>グリッドとして提示されます。すべてのタスクはarcprize.org/playでプレイできます。例として、以下のリンクをご覧ください。
https://arcprize.org/play?task=543a7ed5
このコンペティションでは、公開トレーニングセット（v1）から400個のタスク全てが提示され、それぞれのタスクに対して、望ましい動作を示すPython 3プログラムを作成することが求められます。これらのプログラムは機能的に正しいだけでなく、（追加の工夫として）可能な限り最小限に抑えられている必要があります。堅牢性とシンプルさを重視した簡潔なソースコードセットは、この画期的なデータセットの標準的なリファレンスソリューションとなる可能性があり、より広範な研究コミュニティにオープンソース化されれば、より汎用性の高いAIシステムの開発に貢献する可能性があります。
| 項目 | 内容 |
|---|---|
| コンペの目的 | ARC-AGI 公開トレーニングセット v1 の 400 タスクそれぞれについて、機能的に正しい 最小（バイト）長の Python 3 プログラムを作成し、「正解 × コンパクトさ」を競う |
| 評価方法 | – 各タスクごとにプログラム長を length バイトとすると 得点 = max(1, 2500 − length)– 400 タスクの合計が最終スコア- コンパイルエラーや誤答は 0.001 点 |
| 主要制約 | – 1 タスク = 1 ファイル（例：task001.py）- 標準ライブラリのみ使用可・他ファイルからの import 禁止- submission.zip に最大 400 ファイルを同梱 |
| スケジュール | – 開始: 2025-07-31 UTC- エントリー/チーム統合締切: 2025-10-23 UTC- 最終提出: 2025-10-30 UTC- NeurIPS 2025（サンディエゴ）で特別セッション予定 (Google Sites) |
| 賞金総額 | 100,000 USD（1位 30k, 2位 20k, 3位 10k, 4–10位 各5k, “Longest Leader” 賞 5k） (Google Sites) |
| 特記事項 | – 「Longest Leader」は 2025-07-31〜10-30 の期間で最長期間 1位を保持したチームに授与- 2025-08-25 までにセキュリティ強化のため提出形式が変更される可能性（自動再採点予定）- 上位 3 チームは大会回顧論文を PMLR へ共同投稿予定 (Google Sites) |
| 背景 | 競技タスクは ARC-AGI（Abstraction & Reasoning Corpus for AGI）に由来。人間は数手で解けるが現状の AI には難しい「初見タスク」で汎化力を測る。コードゴルフ形式にすることで 「正解を生む思考のエッセンス」を抽出し、公開後に研究コミュニティのリファレンス実装として活用することを狙う。 |
参加を検討する際のヒント
1.ARC タスクの理解
先に arcprize.org/play で人間として解いてみるとルール把握が早い。
2.コードゴルフ戦略
Python ワンライナー化、ラムダ多用、短縮変数名、標準ライブラリの巧みな流用が鍵。
3.自動生成・最適化
メタプログラミング（例：プログラム合成＋grep で圧縮）、LLM によるゴルフ提案、AST 変換でのバイト削減などが有望。
4.テストベッド整備
ローカルで 400 タスクを一括検証するスクリプトを用意し、CI でサイズと正解率を自動チェックすると効率的。
5.早期提出＆長期 1 位維持
“Longest Leader” 賞を狙うなら、開始直後に暫定トップを取り、その座を守る戦略も一考。
