一般財団法人GovTech東京では、職員の技術的な知見の発信・共有の場として、テックブログの取組を行っています。今回紹介する記事は、非エンジニアの自治体職員が都のICT職と協働して、生成AIを活用した法令検索チャットボットを開発した体験記です。
前編では、Excelの基本的な関数しか使えなかった自治体職員が、ノーコードツール 「Dify」 を使い、法令・通達・QAをRAG （検索拡張生成）を構築してプロトタイプ化するまでの試行錯誤を紹介。法令文のチャンク設計やナレッジの偏りを防ぐ工夫など、自治体業務ならではの課題とその解決策が具体的に語られています。

【読みどころ】

• 非技術職の公務員でもAIアプリを作れる時代になっている点
• 法令・通知・QAなど複雑な文書の構造化方法
• 現場の職員だからこそ“本当に使えるプロダクト”を作れるという気づき

後編では、前編で区職員が作成した法令検索AIチャットボットを、都のICT職がAPI接続し、実運用レベルへ最適化していくプロセスが描かれています。
APIレスポンスの分析から、「なぜ応答が遅い？」、「なぜコストが高い？」、といった課題を洗い出し、区職員とも連携して、トークン消費の可視化・プロンプト整理・モデル使い分けなどの技術的な工夫によって改善していく様子が見どころとなっています。

【読みどころ】

• 大量トークン消費によるコスト増・速度低下の原因をAPIレスポンスから発見
• 高精度モデルと軽量モデルを使い分けて品質は維持しつつコスト4割削減
• 処理の並列化や入力情報の整理によって応答速度も約2倍に改善
• 区職員（現場）と都庁ICT職（技術）の連携による、自治体内製DXの新しい形が見える

本記事は自治体DXの実務に関わる方だけでなく、「AI活用について興味がある」、「都と区市町村の連携について知りたい」と考えている職員にもおすすめできる内容です。ぜひご一読ください！