2007-04-15から1日間の記事一覧
IT教育という仕事をやってると曖昧な知識では許されない場合があって、 突っ込んでしらべものをする機会があります。 今回は浮動小数点数の演算誤差についてしらべました。難しい部分を適度に省略して説明してみます。 問題 0.1を2進数に変換した後、10進数…
IT教育という仕事をやってると曖昧な知識では許されない場合があって、 突っ込んでしらべものをする機会があります。 今回は浮動小数点数の演算誤差についてしらべました。難しい部分を適度に省略して説明してみます。 問題 0.1を2進数に変換した後、10進数…