基本的に、判決や決定は人間によってなされなければならない。AI及びアルゴリズムが裁判権の行使自体を遂行することは憲法上許されない。憲法76条3項は、裁判官は「独立してその職権を行ひ」、「憲法及び法律にのみ拘束される」と規定しており、判決自体についてAI及びアルゴリズムの活用が許される余地はない。また、判決手続におけるAI利用を裁判官に圧力を加え、あるいは強制することも憲法上許されない（J.Vasel）。一方、裁判官の職務の支援業務は可能である。とりわけ、電子化された膨大な訴訟ファイルの分析や分類はAIの得意とするところだろう。しかし、裁判権行使場面と裁判官の業務支援が明確に切り分けられるかどうかは検討の余地がある。この問題は、AIAで取り上げられおり、判決を支援するAIも「ハイリスク」と見なされている(J.Székely)。AIにもとづく支援システムの活用が裁判の迅速化に寄与することは疑いないが、それが「裁判官の職権行使の独立」に与える影響は慎重に吟味する必要がある。

　 AI活用が「差別の永続化」をもたらす危険性も重要である。AIのトレーニングデータに含まれる差別的要素だけではなく、システム構築の際にも差別的要素がすり込まれる可能性がある。また、自動化されたシステムをユーザー（例えば、裁判官）が過度に信頼する「自動化バイアス」が指摘されている（J.Vasel）。裁判官の支援業務を担うAIによって集積・分類されたデータが、果たして「公正な裁判を受ける権利」を侵害するか否かは、トレーニングデータやシステム構築次第といえよう。したがって、システム開発にユーザーである裁判官が参加し、その後の運用、さらには統制に関与することが重要である（困難な課題であるとしても）。