-
プログラミングに関した質問に対するChatGPTの回答のうち、52％が間違っていることを示す研究結果が発表されて一部で話題だ。
これは、今月行われたカンファレンス「CHI 2024」で、米パデュー大学の研究者チームが発表したもの。それによると、「Stack Overflow」における517の質問に対するChatGPTの回答を分析したところ、そのうち52％に誤った情報が含まれていたという。全面的に間違っているわけではなく、一部に誤った情報が含まれていたにすぎないものの、かなり高い割合であることには間違いない。また、これと並行して行われたChatGPTの回答に対する言語分析では、12人のプログラマーを対象にアンケート調査を行ったところ、35％がChatGPTの口調を好ましいと回答、39％は内容の間違いに気付かなかったという。つまり、回答の丁寧な口調や、包括的に言及していると感じられる明解で教科書的に整理された文章から説得力を感じて、誤りを見抜けずスルーしてしまうケースが少なからずあるというわけで、ユーザー側も鵜呑みにしないことが求められそうだ。
https://internet.watch.impress.co.jp/docs/yajiuma/1594823.html -
知ってる
-
ChatGPTは
平気で嘘をついているのか
間違っているのか
分かっているけど一旦適当に応えているのか
指摘すると謝って別の回答を提示するけど
反省はしていないように感じる -
９割以上間違ってるだろ
事例が少ないと平気でウソ言うし -
そんなことはわかって上で使ってる。それでも自分で書くより圧倒的に早く書ける
-
間違いを見つけたら直せばいいのよ
勘定系や学術系、法務系に使わなければ問題ない -
まあスキルの低い奴にとってはありがたいんだろうな
-
BASICで数当てゲーム作らせたらバグだらけだった
-
体感といっしょだ
だいたい半分は動かない -
解のない、または状況で正解が変わる
ふわっとした回答のほうが得意なんだよね
人間がAIに求めるのは真逆なんだけど -
最近複数回答するのようになってめんどくさくなった
-
ChatGPTはポンコツ太郎君
-
ここ最近やってないけど
間違ってる箇所を指摘し続ければ直すぞ -
インテリコードで十分
-
シンギュラリティとかイキってた奴は
仕組みしらないバカだけだし -
AIは正解が必要なものよりも、正解がない文系のお仕事向き。
弁護士とか法案制定とかだね。 -
プログラミングは見る人が見ればわかるからプログラマが使う分には困らないんだよ
こういう記事を真に受けて生産性を上げる機会を失うのもったいなさすごる -
>>17
これ。
雛形作るには十二分なんだよな。 -
>>26
確かにね
新しいヒントなんかも貰えるのも良いマスゴミなんかが、プログラマが不要になるとか言っているのを見ると、ズッこけるがな
-
たたき台ができるだけでも作業効率が段違いなんだよね。
-
大規模開発でもコードレビューしなかったり
とりあえず動けば後の修正はテスト次第で。 -
関数名とか文章の相応しい書き治しには便利
-
>「Stack Overflow」における517の質問に対するChatGPTの回答を分析したところ
そもそも学習してるStackOverflowの回答が間違ってるからな。 -
AIが出力した間違った情報がインターネットに広がって、それをまたAIが学習してえらいことになり始めているとか
-
こうやって重要システムのコードにバグがどんどん仕込まれる
そしてそのバグを見つけ出せないプログラマもどんどん増える -
AIも学習しなかったら知らないことも当然多いだろう
知られていない未知の案件も答えようがないし -
質問の仕方が悪いと制度の悪い答えが返ってくるのもあるぞ
間違ってたらその修正を依頼してけばだいたいの正解に辿り着くわ -
といっても生成AIはプログラミングが最も得意分野とも言われてるんだし
質問者も質問スキルが結構要求される -
解答が正しいかどうかは問題ではない。
裁定でもリファレンスの代わりになるならそれで十分なのだ。
あらゆる言語の正規表現作ってくれるだけでずいぶん楽になるわ -
でも無知でもマルウェア作れるぐらいすごいんだよな
コメント