11.オペレーティングシステムとデータベース～ビッグデータと機械学習～ / 情報処理概論 / 化学・バイオ工学科 / 工学部 / 山形大学

2016年、このままではジリ貧だ、経済産業省が危機感をあらわにした。文部科学省も小学校にプログラミング教育を義務化した。でも教えたことのない先生が不安で仕方ない。山形大学工学部にも高額なＡＩ専用マシンが導入された。国民の血税、次世代の負担である。他人事と思わずに、ぜひＡＩ専用マシンを使いつぶすぐらいの気持ちで、学んで、卒業して欲しい。

ＡＩ専用マシンの使い方について，情報・エレクトロニクス学科の田中先生にお聞きください．使い方の資料は，https://yzcsc.yz.yamagata-u.ac.jp/Manual/DeepLearning/のURLを見てください． Singularityのコンテナの作成方法がわからないとの問い合わせがありましたので，コラムに追加しました．

時代区分		産業	政治	世界

地質
原始	旧石器			BC.20000 ラスコー壁画 BC.3200シュメール文字 * BC.300アラビア数字 *
縄文	磨製石器
弥生	鉄器		キリスト誕生
古代	古墳		紙の発明と漢字（漢）
飛鳥
◇ 奈良	万葉仮名
◇ 平安	平安女性は、ひらがな(31文字？) 料紙 ^* 平安男性は、漢字、漢文で日記 ^*	律令体制の崩れ
中世	◇ 鎌倉
◇ 室町
◇ 戦国	美濃紙 1590年、イエズス会によりグーテンベルグによって発明された鉛活字と木製印刷機 1600徳川家康木活字		1439年頃にヨーロッパで初めて活字による印刷を行った。アラビア数字の完成
		大航海の時代
近世	◇ 江戸			◇ 第一次産業革命（鉄鋼と石炭、動力） ▶ ◇ 19世紀
		◇ 開国
◇ 近代	◇ 明治	1873 大阪造幣局で、鉛室法硫酸の製造 1873 第一国立銀行設立 1890大阪朝日新聞、印刷に輪転機採用 ◇ 20世紀 1905 富岡製糸場 1910 ◇ 米沢高等工業学校設立	富国強兵 ◇ 日本の産業革命（鉄道、郵便、電話、生糸）	◀ ◇ 第二次産業革命（電気と石油、エネルギー） ▶ ◇ 20世紀
◇ 大正		1923関東大震災 1925ラジオ放送
◇ 昭和（戦前）
		◇ ⚔1941第2次世界大戦 (太平洋戦争)
◇ 現代	◇ 昭和（戦後）	1964日立製作所大型汎用コンピュータを開発 1973 液晶ディスプレイ ^1 ) 1982 PC-9801 漢字 1983 ファミコン ^* 1984 フラッシュメモリ * ^2 ) 1984 カラー液晶テレビ ^3 ) 1988 カラオケＢＯＸ ^* 1989青色LED発明 * ^4 ) 1993高輝度青色LED量産 * 1991 リチウムイオン電池		1957二重積分 ADC ^* ◀ ◇ 第三次産業革命（半導体、デジタルコンピュータと AD変換） ▶ 1965 FFT ^* 1968 X線CT 1978 スペースインベーダー 1982 CD
◇ 平成	2001 電子マネー 2008 FTTH ,スマホ		◀ ◇ 第四次産業革命（ネットとビッグデータ） 1995 Windows®95 2000 WiFi™ ^* 2005 Youtube ^*
◇ 令和

◇ オペレーティングシステム（OS)

Windows

android

事実上シングルユーザーのマルチタスクオペレーティングシステム。事実上シングルユーザーのため、端末認証の積極的導入が可能。サーバーサイドよりクライアントサイドで威力を発揮します。可動部分を持つ高価なデバイス（マウス、キーボード、ＨＤＤ）や３次元形状を持つ高価な部品（コネクタ、ケーブル）などを可能な限り排除し、プリンテッドエレクトニクスを駆使した端末を積極的に活用することで安価なクライアント環境をユーザーに提示します。またHTMLとJavaScriptを使ったストアアプリの導入することと、データベースをクラウド上に保持してサーバーサイドの計算リソースを使うことでクライアントの負荷を低減し、端末OSに依存しないサービスの提供を目指しています。ガラケーと同じ形の、ガラホにも搭載されました。

Android の世界は、スマホやタブレットから、時計、テレビ、そして自動車にまで，http://www.android.com/

Linux

Linuxとは、1991年にフィンランドのヘルシンキ大学の大学院生（当時）Linus Torvalds氏によって開発された、UNIX互換のOS,UNIXの歴史

Chrome OS

アプリとＯＳ

種類	オペレーティングシステム	デバイス	例	インストール

Webアプリ	ＰＣ、スマホ、クロームブック		Google Apps ( 📆 暦ドライブ ) , Office 365、facebook	不要
Windowsアプリ	Windows	ＰＣ	ワープロ，表計算，プレゼンテーションソフト，CAD，数式処理ソフト	ストア
アンドロイドアプリ	アンドロイド	スマホ	Line、QRコードリーダー	ストア

種類	例	説明

ワープロ	Microsoft Word google doc	論文や報告書、あるいはそれらの要旨などの文書を作成、印刷するアプリです。
表計算	Microsoft Excel google sheet	数値を計算し、表やグラフなどの図表を作成するアプリです。平均、標準偏差などの統計量も計算できます。データの件数は 30件程度までが適切です。それ以上の件数の場合、データベースアプリと連携して抽出したデータを使う方が効率的です。
プレゼンテーション	Microsoft Powerpoint google slide	講演スライドやポスターを作成できます。
グラフィックス	illustrator photo shop svgtopng gitmind mermaid	図形や写真などの画像の作成や編集をします。
ＣＡＤ	Solid works *
Ｗｅｂページ作成	HTML editor
データベース	Microsoft Access Microsoft SQL Server
動画編集
プログラミング	google colab

ワープロ，表計算，プレゼンテーションソフト，CAD，数式処理ソフト

ブラウザー上で動作するアプリ

マルチタスク，マルチユーザ，ファイル

「電磁的記録」とは、電子的方式、磁気的方式その他の人の知覚によっては認識することができない方式で作られる記録であって、電子計算機による情報処理の用に供されるものをいいます。

デジタルトランスフォーメーション（ＤＸ）で、電子帳簿、著作物、特許明細書などが電磁的記録に移行しています。

クライアントサーバシステムと可用性

ＶＰＮでゲートウェイサーバに接続するにはクライアントに証明書を入れたり、資格情報を設定したりする必要がある。

ネットショッピングではクライアントが自分のＰＣがクライアントコンピュータ、ショップを運営する会社のＰＣがサーバコンピュータである。個人を特定するためにサーバコンピュータにアカウントを作ってログオンすることで取り引きがはじまる。

電気エネルギーで動くコンピュータ

情報を常に取り出せるようにするためには電源が命！コンピュータで情報を維持するコンピュータ

無停電電源装置(UPS)

電源の可用性-なぜ情報システムは電力を使うのか？-

ディスプレイなら光を出す。スピーカーなら音を出す．光も音も出さずに，廃熱だけするCPUは，なぜ電力を使うのか？安全なシャットダウンとは，とういうことなのか？そこから解説していきたい．

種類	オペレーティングシステム	特徴

ファットクライアント	多くのアプリ，デバイスが利用可能なOS 例：Windows 11, MacOS, android, ChromeOS,Linux
シンクライアント	制限されたデスクトップ版や組み込み版のOS 例：Windows 10 IoT, Dell Wyse ThinOS
ゼロクライアント	ネットワークや画面転送など限定された機能だけを搭載した機器

種類	内容	技術	運用例など

機密性	正当な権限を持った者だけが情報に触れること	認証，権限管理，入室管理	ICカード，🆔ID/パスワード，SSL, DoH/DoT
完全性	改ざんや過不足のない正確な情報が保持されていること	デジタル署名, トランザクション処理	S/MIME, androidアプリ, SQL, SSL, DNSSEC
可用性	情報をいつでも使える状態を保持すること	デュプレックスシステム, 電源冗長化, 回線多重化	UPS, RAID, 非常用電源, BGP,クラウド

デジタル情報は，極端に言えば0か1かだ．たとえ0から1に遷移するときでも，0.5という状態は，許されない．ところが、現実世界では，瞬時ということはあり得ない．たとえナノ秒以下だろうと，必ず時間遅れが存在する．だから遷移の途中で、停電が起きるとシステムはエラ－だらけになってしまうのだ．

遷移の途中をトランザクションと言い， 0か1かの安定状態に落ち着いたことを「コミットした」と言う．安全なシャットダウンとは，全てのトランザクションがコミットした状態で，電源を切ることなのだ．だから，全てのトランザクションがコミットするまで，無停電源装置で，その間の電力を確保する．

大きなシステムでは，処理中（トランザクション）の何ギガバイトもの情報をコミットさせなくてはならない．コミットするまでにかかる時間も相当なものになる．だから，クライアントサーバーシステムの可用性で，もっとも大切で難しいのが，電力の安定供給である．一般的な無停電源装置(UPS)では標準で5～10分程度のバックアップ時間である．仮想化基盤により1台の物理サーバに10台以上の仮想マシンを構築できる．停電時に安全に仮想マシンを停止するためもシャットダウンプロセスの時間が10分以上になることも多々ある．また，太陽光発電やディーゼル発電機（一般非常用発電機）などによってサーバの電源のバックアップに利用されている．

2019年11月から山形大学工学部学術情報基盤センターの電源ラインには非常用ディーゼル発電機の電源が加えられ，商用電源，太陽光発電，非常用発電機の３つの電源となる．

非常用発電機の運用には，大学の施設部や部局などの協力がないと不可能である．その１つとして，非常用発電機には軽油が用いられることが多いが，消防法によるとその指定数量（第2石油類)は，1000Lである．この量を超える場合は危険物取扱者責任者の届出が必要になる．それ以外にも，電気事業法施行規則によると，10kW以上の出力の内燃機関を用いた発電機は，電気工作物であり，．（正確には，第三十八条第二項に示されるように内燃力を原動力とする火力発電設備であって出力十キロワット未満の場合を除く内燃機関が電気工作物になる．）この場合，電気主任技術者が必要になるようである．本学の小白川キャンパスに導入されている発電機は，1000L以上の軽油を貯蔵しているため，危険物として取り扱われている．

さらに，寿命とランニングコストの算出が必要であり，ディーゼル発電の方が明らかに低コストで実現できる．リチウム電池を搭載した太陽光発電では，電池寿命が10年程度である．特に，導入費用は，文部科学省の政府調達の落札状によると，30kWh, 20kVAの自立負荷出力の能力で，4400万円である．一方，ディーゼル発電の導入費用は，80kVA, 10時間の能力で，1300万円であり，イニシャルコストが太陽光発電の数分の1である．また，ディーゼル発電による自家発電装置の税法上の耐用年数は，15年であり，国土交通省官庁営繕基準では30年と，正しく整備することで数十年間利用できる．

もみ殻発電機 -バイオマス発電-

二酸化炭素を減らすために，もみ殻をつかったバイオマス発電を行われている．データセンターも100%再生エネルギーによるサービス継続を目指している．データセンターのエネルギーミックを如何にするか？それともインターネットも，クラウドもつかわないか？

データセンターの火災

サーバー室のケーブル

サーバー室はケーブルの山になる．そのケーブルを整然と配線するための１つとしてケーブラックが使用される．

サーバ室モニタリング

ディスクの可用性

例：認証サーバ，インターネットサーバ,マルチデバイスとクロスデバイス,電源のバックアップ(UPS),ハードディスクの多重化(RAID)

◇ データベース

データとは、論文や報告書の論拠となる共有できる情報です。

データ（data） : データム（datum）の複数形で、「論拠・基礎資料、実験や観察などによって得られた事実や科学的数値」などを意味する。「与える」意のラテン語ダーレ（dare）の受身形からでたもの。
『大日本百科事典』（小学館, 1980） *

デジタル回路計で、１１円電池の起電力を測ろうとすると表示が一定になりません。このようなとき、１１円電池の起電力をどうやって、データにすればよいでしょうか？

アナログ回路計では、目盛りのところを人が読みます。読み取り誤差になります。デジタル回路系では、一定時間ごとにＡＤ変換された数値が直接表示されます。これが数値のばらつきになります。

表 8 . データ、データベース、ビッグデータ

種類	説明	サイズ

データ	単レコード	紙
データベース	1000～１０億レコード	内部ストレージクラウド
データリボジトリ		クラウド * データのオープンアクセスを目指す
ビッグデータ	それ以上	クラウド

11.情報処理概論品質管理データ

ビッグデータは、人間では処理できず、コンピュータの助けを借りて処理するデジタルデータの集合です。コンピュータの助けを借りるには、数学やプログラミング言語のスキルが必須です。数学は、特に集合論、代数、確率統計などのスキルが要求されます。

ビッグデータは、クラウド上に電子的あるいは磁気的な方法で記録されており、すべてを紙に印刷することは不可能です。つまり、すべてを見た人は、誰もいないということです。

人は、コンピュータの助けを借りて、ビッグデータの一部を選択して抽出したり（検索）、全体の傾向を抽象化してみたり（統計）することになります。それを見て、はじめて人は、意思決定し、行動を起こします。

言い換えれば、ビッグデータは、そのままでは、情報ではありません。人がコンピュータにプログラムを与え、ビッグデータを処理してはじめて、人に有用な情報になるのです。

データベースは、物流、ネットショップ、名簿、在庫管理などさまざまな業務の基幹だ。コンピュータでは、データベースは、テーブルの集合として実装される。テーブルは、フィールドとレコードからなる。たとえば、化学物質のサンプルの管理をするのにデータベースを使うなら、サンプルのテーブルとサンプルの使用履歴のテーブルが必要だ。サンプルノテーブルには、供給元、入手日時、管理者などのフィールドが必要であり、サンプルの使用履歴のテーブルには、サンプルＩＤ、使用者、使用日時などのフィールドが必要だ。このようにフィールドやテーブル、あるいはその関係に名前をつけてゆく作業をデータベースの設計という。

データベースソフトウェア

Access, SQL, FileMaker

マルチユーザ環境下のデータベース

ユーザーごとの権限，同時に更新が行われても整合性が保たれる

SQL

表 9 . SQL 言語の使い方

応用例

無作為抽出	select top(1) * from contents order by NEWID()
平均	select AVG(price) from products

◇ 機械学習,ディープラーニング,AI

図 2 . 171 フーリエ変換（ＦＦＴ）と機械学習（ＡＩ）に共通するのは行列演算
©K.Tachibana

人工知能（ＡＩ）はいろいろなジャンルがあるが、今言われているのは、機械学習とディープラーニングと言われるもの。ビッグデータの存在が前提となる。ビッグデータを扱うのに配列（行列）の演算をやらないとならない。

数式例えば数学の知識が必要となるのは、ゲーム開発や人工知能、統計学などで、とても限られています。そのため、文系でもプログラミング習得を諦める必要は全くありません。

Phthon (パイソン）は、多様なデータ構造が組み込まれているので、データ処理しやすい言語です。 Anaconda（アナコンダ）や、 Google Colaboratoy などの開発環境があります。 Phthonには、数値計算ライブラリNumPyがあります。 NumPyは、CやふFORTRANで、実装されていて、高速で実行できます。ほかにも、Matplotlib(グラフ描画ライブラリ） pandas(データ分析ライブラリ） TensorFlow(機械学習ライブラリ）　OpenCV（画像処理ライブラリ）など便利なライブラリが多数あります。

tensorflow.org 文系

スーマートフォンの顔認証は，AIによって特徴を捉え，顔を判別している．産業にも活用する研究が盛んにおこなわれている．伊藤らは，ディープラーニングを導電性高分子アルミニウム電解コンデンサの評価装置に応用することを見出し，特許の出願および発表をしえている．さらに，電子スピン共鳴法(ESR)のスペクトルの判別やカメラのお天気判別，稲の白穂，水耕栽培の水やりタイミングの判別などいくつかの応用研究を行っている．画像の判別はディープラーニングでAIに置き換えできる．こんな時代に，ヒトは何をすべきか？コンピュータの消費電力が多くなり，地球温暖化やエネルギー需要とバランスを如何にするか？増え続ける学習データの保存先をどこにするか？

お天気判別学習システム「ともひろくん」

教えててんき（教師データ作成システム）

判別システム

ワークステーションやPCの性能向上と低価格化

2017年には，2TBで64コアの計算機が1000万円で購入できる時代となった．市販のPCでも機械学習を動作させるために必要とされる8GBのメモリが標準で搭載される．Mathematicaにもディープラーニングの機能が追加されている．

無償機械学習ライブラリーの提供

テンソルフローやCafeなどをはじめとする無償な機械学習ライブラリーが提供される．これらによって，機械学習やニューラルネットワークの専門の研究者のみの世界から一般人も簡単にAIを使いこなせるようになる．

テンソルフロー機械学習実習システム

テンソルフローはパイソンで学習プログラムを記述できる．このシステムのコンセプトは，テンソルフローの環境整備を不要にし，さらに，短い時間でコードを書かせるかに特化ている．ウェブページからコードを入力して，登録することで，自動的に機械学習計算ノードによって，機械学習が進む．次の日には，機械学習が完了している．また，勉強する人のために，pythonのソースコードをダウンロードでき，独自に応用展開ができるようになっている．システム使い方は，AIプログラム登録ページからテンソルフローのコードとcsv形式の学習データを入力（登録）することで利用できる．登録されたテンソルフローのコードは，バックエンドにあるいくつかの計算サーバにジョブが割り振られ，機械学習がスタートする．大規模な計算ノードではないので，気長に待っていただければ助かります．学習の進捗状況は，テンソルフローパイソンコード一覧サイトから確認できます．学習による誤差の値が表示されるので，その値が小さくなれば学習完了となる．（開発中の部分もあるので，バグなどがありましたら，伊藤まで教えてください．）

今井君のテンソルフロー学習システムの使い方のページ

図 AI実習システム
©Copyright Tomohiro Ito, Tomohiro Ito all rights reserved.

学生の成果物

AI実習システムを使って，受講生が作成したAIモデルの成果物を以下に示す． 2021年度，コロナ禍で在宅からの学習が強いられる中で，44件のディープラーニングの学習モデルが提案された．なお，40名中31名の学生が提出した． 2020年度は，受講生18名から，30件のディープラーニングの学習モデルが提案された．(履修者数は，33名であった．）学長裁量経費のディープラーニングシステムを活用しようとしたが，90分の講義時間内に収めようとすると難しかったので，断念した．

大学院では，研究過程で発見した学習モデルを作り，ウェブページに画像データベースを構築し，実践的なデザインサイエンス教育を行っている.→大学院生の成果物

ID=100, 米沢市北部小学校が雪の天気（１），それ以外（０）, 学生のウェブページ, 2021年受講生
ID=99, 米沢市北部小学校に雪があるか（１）ないか（０）, 学生のウェブページ, 2021年受講生
ID=109, 東京が夜（１），またはよる以外（０）, 学生のウェブページ, 2021年受講生
ID=61, 天気の雨の判別（雨:1, それ以外:0), 学生のウェブページ, 2020年受講生
ID=57, 別海町の天気判別(晴れ：１，それ以外0), 学生のウェブページ, 2020年受講生
ID=80, 浜松市の天気　晴れ(1),それ以外(0), 学生のウェブページ, 2020年受講生
ID=141, 米沢市北部小学校が夜かそれ以外か, 学生のウェブページ, 2021年受講生
ID=140, お天気が「晴れ(0)」または「曇り(1)」を判別するプログラム, 学生のウェブページ, 2021年受講生
ID=132, 米沢市立北部小学校晴れ（１）,晴れ以外（0), 学生のウェブページ, 2021年受講生
ID=106, 米沢市立北部小学校が晴れ, 学生のウェブページ, 2021年受講生
ID=131, 熱中小学校が晴れ（1）それ以外（0）, 学生のウェブページ, 2021年受講生
ID=114, singularity build tensorflow_21.02-tf2-py3.sif docker://nvcr.io/nvidia/tensorflow:21.02-tf2-py3 INFO: Starting build... Getting image source signatures Copying blob 83ee3a23efb7 done Copying blob db98fc6f11f0 done, 学生のウェブページ, 2021年受講生
ID=136, 米沢市北部小学校　晴れなら０、雪なら１, 学生のウェブページ, 2021年受講生
ID=121, 米沢市立北部小学校の晴れの天気が（１）、曇りの天気が（０）, 学生のウェブページ, 2021年受講生
ID=102, 米沢市北部小学校, 学生のウェブページ, 2021年受講生
ID=119, お天気が「雨（1）」または「雨以外（０）」を判別するプログラム, 学生のウェブページ, 2021年受講生
ID=108, お天気が「晴れ(1)」または「晴れ以外(0)」を判別するプログラム, 学生のウェブページ, 2021年受講生
ID=101, 米沢市北部小学校が雪の天気（１）かそれ以外（０）か, 学生のウェブページ, 2021年受講生
ID=134, 米沢市北部小学校の空が曇っていれば（1）、腫れていれば（0）, 学生のウェブページ, 2021年受講生
ID=117, 米沢市北部小学校の空が曇っていれば（1）、腫れていれば（0）, 学生のウェブページ, 2021年受講生
ID=110, 米沢市立北部小学校　雪の日（１）、または雪以外の日（０）, 学生のウェブページ, 2021年受講生
ID=107, 米沢市立北部小学校が雪の天気(1),それ以外(2), 学生のウェブページ, 2021年受講生
ID=123, 埼玉大学教育学部附属小学校の晴れ(１)か晴れ以外(０), 学生のウェブページ, 2021年受講生
ID=137, 新地町立尚英中学校、天気が「晴れ(1)」または「晴れ以外(0)」, 学生のウェブページ, 2021年受講生
ID=105, Hokubu Elementary School, Yonezawa, Yamagata Clear weather: true(1) false(0), 学生のウェブページ, 2021年受講生
ID=124, 山形県米沢市立北部小学校が晴れの天気（１）、それ以外の天気（０）, 学生のウェブページ, 2021年受講生
ID=122, 札幌が晴れ（１）、晴れ以外（２）, 学生のウェブページ, 2021年受講生
ID=135, 那覇市で朝焼け(0)夜景(1)夕焼け(2), 学生のウェブページ, 2021年受講生
ID=127, 雪(1) 晴れ(0), 学生のウェブページ, 2021年受講生
ID=120, 札幌市立伏見小学校の晴れ(1) か晴れ以外か(2), 学生のウェブページ, 2021年受講生
ID=128, 雪(1) 晴れ(0), 学生のウェブページ, 2021年受講生
ID=126, 雪(1) 晴れ(0), 学生のウェブページ, 2021年受講生
ID=103, 米沢市立北部小学校　雪の日（１）、雪以外の日（０）, 学生のウェブページ, 2021年受講生
ID=104, 米沢市立北部小学校　雪の日（１）、雪以外の日（０）, 学生のウェブページ, 2021年受講生
ID=139, 米沢市立北部小学校晴れ(1)、晴れ以外(0), 学生のウェブページ, 2021年受講生
ID=142, 米沢市立北部小学校晴れ(1)と晴れ以外(0), 学生のウェブページ, 2021年受講生
ID=133, 晴れ(1) 晴れ以外(0), 学生のウェブページ, 2021年受講生
ID=138, , 学生のウェブページ, 2021年受講生
ID=116, 米沢市北部小の天気　晴れ(1)、それ以外(2), 学生のウェブページ, 2021年受講生
ID=125, 札幌の天気が「晴れ(0)」または「晴れ以外(1)」を判別するプログラム, 学生のウェブページ, 2021年受講生
ID=130, 米沢市立北部小学校天気雪(1)または雪以外(2), 学生のウェブページ, 2021年受講生
ID=129, , 学生のウェブページ, 2021年受講生
ID=113, 米沢が晴れ（０）,晴れ以外（１）, 学生のウェブページ, 2021年受講生
ID=112, 米沢が雪が降っている（1）、降っていない（２）, 学生のウェブページ, 2021年受講生
ID=118, 米沢が晴れ(1) , または晴れ以外(0), 学生のウェブページ, 2021年受講生
ID=115, 米沢が夜（１）、またはよる以外（０）, 学生のウェブページ, 2021年受講生
ID=111, 米沢　晴れか雪か, 学生のウェブページ, 2021年受講生
ID=83, 天気判別, 学生のウェブページ, 2020年受講生
ID=75, 0は雨以外,1は雨, 学生のウェブページ, 2020年受講生
ID=65, 天気の雨の判別（雨: 1とする）, 学生のウェブページ, 2020年受講生

ディープラーニングの原理

ディープラーニングは，行列で表現される．2年生の前期の授業ということであり，数学の詳細は触れないが，学習モデルの設計が重要である．例えば，レモンであると，それ以外の２つのシンプルなモデルを作り，その教師データの質を高め学習されるかに，かかっている．

図 ESRスペクトルのAI計算式
©Copyright Tomohiro Ito, C1 laboratory all rights reserved.

【演習】AI実習 -判別学習モデルの作成と教師データ

ディープラーニングの学習モデルの作成と教師データを作成し，ディープラーニングを学習させてみましょう．テーマは，お天気判別システムです．ウチダの「IoT百葉箱」を画像データを使って，教師データを作成してください．

1.判別学習モデルの決定

判別学習モデルを決めます。例としては、お天気が晴れ(1)，それ以外(0)や，お天気が雨(1)，それ以外(0)である。

2.csv形式の教師データファイルの作成

csvファイルの形式は、画像URL,意味です。CVSファイルのコンマを区切りにして、左側に画像のURL,右側に判別学習モデルの意味である1または0を記述している。 IoT百葉箱の画像データベースは，http://iot100.uchida.co.jp/のURLから閲覧できる。この画像データベースを使ってCSVファイルを準備してください。

http://iot100.uchida.co.jp/iot100api/public/getscene/74/1/original/201804220740,1
http://iot100.uchida.co.jp/iot100api/public/getscene/74/1/original/201804260540,0
http://iot100.uchida.co.jp/iot100api/public/getscene/74/1/original/201804240710,0
    （中略）
http://iot100.uchida.co.jp/iot100api/public/getscene/74/1/original/201805170730,0
http://iot100.uchida.co.jp/iot100api/public/getscene/74/1/original/201806300800,1
http://iot100.uchida.co.jp/iot100api/public/getscene/74/1/original/201804020500,1

3.コードとcsvファイルのウェブ入力

AIプログラム登録ページ(https://b.yamagata-u.ac.jp/amenity/Laboratory/DeepLearning/TensorflowCodeForm.aspx)で判別学習モデルの名称（キャプション）と教師データのCSVファイルの内容を登録してください．

本学以外の方は，https://a.yamagata-u.ac.jp/amenity/Laboratory/DeepLearning/TensorflowCodeForm.aspxのページで，pythonのソースコードジェネレータを体験できます．

4.学習結果の確認（学習完了まで1週間待ち）

画像判別の確認サイトで任意の画像について判別を試みる。

コラム

アフィン変換と行列，GPU

GPUはアフィン変換アクセラレータ！

アフィン変換とは、図形を回転させたり引き延ばしたりする変換のこと。線の図形の移動を考えてみよう。 $y = x$ の式をy軸方向に2移動したら、どうなるかなぁ。

$x = x^{'}$ , $y = y^{'} - 2$ を代入して、 $y^{'} = x^{'} + 2$ とし、線を移動するだろう。

行列で表現してみよう。

$(\begin{matrix} x^{'} \\ y^{'} \end{matrix}) = (\begin{matrix} 1 & 0 \\ 0 & 1 \end{matrix}) (\begin{matrix} x \\ y \end{matrix}) + (\begin{matrix} 0 \\ 2 \end{matrix})$ と表せる。

次元を1つ上げた3次元の座標系にすると、

$(\begin{matrix} x^{'} \\ y^{'} \\ 1 \end{matrix}) = (\begin{matrix} 1 & 0 & 0 \\ 0 & 1 & 2 \\ 0 & 0 & 1 \end{matrix}) (\begin{matrix} x \\ y \\ 1 \end{matrix})$ と表せる。

ディープラーニングの原理の図を見ると行列の計算を沢山やっている。ディープラーニングで、GPUサーバが利用されるのは、GPUがグラフィック計算に特化し、行列計算が得意な計算ユニット！ AIデザイン教育推進センターにGPUを沢山搭載した計算機が導入された。多額の税金が投入されたもの。ぜひ、この機会に、使えるだけ使ってください。使い方は、AIデザイン教育推進センターをご覧ください。

2021.6.29に，WebClass のAIデザイン教育研究推進センター掲示板に，各種マニュアルやサンプルプログラムを掲載したそうです． WebClassのコースに，AIデザイン教育研究推進センター掲示板を追加して，ディープラーニングシステムを使ってみてください．

図. アフィン変換 (座標移動）

11.情報処理概論アフィン変換とGPUより

ディープラーニングシステムでコンテナのビルド

ディープラーニングシステムではコンテナを使って機械学習のプロセスを実行するようである．コンテナエンジンとして，Dockerが有名であるが，Dockerはコンテナをビルトづるときに，root権限が必要になる．そこで，本学のディープラーニングシステムでは，singularityエンジンを使って，root権限がなくてもビルドできるようになっている．その一例を下記に示す．

nvidiaのDEEP LEARNING FRAMEWORKSからDockerコンテナをダウンロードして使いたいを例として説明する． https://docs.nvidia.com/deeplearning/frameworks/tensorflow-release-notes/running.html#runningにアクセスし，dockerのpullコマンドを確認する． 2021/3/17では，docker pull nvcr.io/nvidia/tensorflow:21.02-tf2-py3が最新版をDockerで取得するときのコマンドである． singularityでは，singularity build filename.sif docker://の後に，nvcr.io/nvidia/tensorflow:21.02-tf2-py3の部分の追記することで，singularityのコンテナイメージファイルを作成できる．具体的には下記のようなコマンドを入力する．

singularity build tensorflow_21.02-tf2-py3.sif docker://nvcr.io/nvidia/tensorflow:21.02-tf2-py3
INFO:    Starting build...
Getting image source signatures
Copying blob 83ee3a23efb7 done
Copying blob db98fc6f11f0 done

コンテナイメージの動作確認は，下記のようなコマンドでできる．

singularity shelltensorflow_21.02-tf2-py3.sif
Singularity> date
Wed Mar 17 17:48:14 JST 2021
Singularity>

アプリケーション技術	Webアプリ、スマホアプリ
情報技術	ビッグデータ
通信技術	ＷｉＦｉ、インターネット
センシング技術	マイク、カメラ、温度センサー、温度センサー、加速度センサー

種類	ビジネスモデル	可用性	例

内部ストレージ	所有またはレンタル（プロダクト）	不要	パソコンでは内蔵HDDやSSD、スマホやタブレットではフラッシュメモリ
外部ストレージ	所有またはレンタル（プロダクト）	不要	パソコンではUSBメモリ、外付けHDD、外付けSSDを、スマホやタブレットではmicroSDカード
ネットワークストレージ	所有またはレンタル（プロダクト）	要	NAS
クラウドストレージ	無料または月額制（サブスクリプション）	要	Googleドライブ、OneDrive（クラウドサービス、データセンターで管理）

	言語	説明

マークアップ言語	◇ html, xml, svg,mathML,css	例：test.html
クライアントサイド	.NET（ドットネット） JavaScrpt VBscript	例：BodeNyquist.asp クライアントサイド言語、フロントエンド言語といいます。
サーバーサイド	.NET（ドットネット） Python（パイソン）+Django（ジャンゴ） VBscript(asp) JavaScript（+Node.js） Ruby PHP	サーバーサイド言語、バックエンド言語といいます。 IISとPythonで、Webアプリを作れます。 * test.asp
データベース	SQL	データベースでデータの取得、保存、更新、削除などを行う言語です。

項目	商用電源 /kW	ディーゼル発電 /kW	太陽光発電 /kW

平常時	18	0	2
日中の停電	0	18	2
夜間の停電	0	20	0
ディーゼル燃料切れ^*	0	0	5

項目	値	単位	備考

定格出力	80	kVA	50Hz
実負荷容量	24	kW	負荷がインバータのため、計算書より負荷の容量の3.3倍の発電機が必要
燃料種別	軽油(3号)		冬季間の運転のために冬季間に給油
排気ガス規制	第三次		発電機:DGM1000MI-PE(エンジン：いすゞ BI-4HK1X)
運転時間	60	h
燃料消費量	336	L	運転時間60時間で 2021年3月の給油量
電力(夏場）	22	kW	7月下旬気温30度の条件
電力(冬場）	19	kW	1月中旬気温-2度の条件
発電電力量	1,200	kWh	4320 MJ
CO₂排出量	879.984	kg	2.619 kg-CO₂/L
熱量	12835.2	MJ	38.2 MJ/L
発電効率	34	%

オペレーティングシステムとデータベース～ビッグデータと機械学習～

◇ オペレーティングシステム（OS)

Windows

android

Linux

Chrome OS

アプリとＯＳ

ワープロ，表計算，プレゼンテーションソフト，CAD，数式処理ソフト

ブラウザー上で動作するアプリ

マルチタスク，マルチユーザ，ファイル

クライアントサーバシステムと可用性

電気エネルギーで動くコンピュータ

無停電電源装置(UPS)

電源の可用性-なぜ情報システムは電力を使うのか？-

もみ殻発電機 -バイオマス発電-

データセンターの火災

サーバー室のケーブル

サーバ室モニタリング

ディスクの可用性

◇ データベース

データベースソフトウェア

マルチユーザ環境下のデータベース

SQL

◇ 機械学習,ディープラーニング,AI

お天気判別学習システム「ともひろくん」

ワークステーションやPCの性能向上と低価格化

無償機械学習ライブラリーの提供

テンソルフロー機械学習実習システム

学生の成果物

ディープラーニングの原理

関連講義・参考書

【演習】AI実習 -判別学習モデルの作成と教師データ

コラム

アフィン変換と行列，GPU

ディープラーニングシステムでコンテナのビルド

関連リンク

◇ 参考文献

項目	状況	原因	対応

分電盤のブレーカトリップ	当然、ブレーカが落ち，サーバがつながっているUPSから警告音が発生	負荷の容量の増加，UPSの許容量以下ではあったが，サーバの負荷が情報したタイミングで引き込み電源のブレーカがトリップした	一部のサーバを別UPSに接続した．
停電から復田後にブレーカがトリップ	落雷による停電の後，復田したときにブレーカがトリップした	同一電源からUPSとサーバを複数台利用していた．平常時は，10Aの電流を確認していたが，復電後の充電電流を計算していなくて，ブレーカが落ちた	別電源系統に一部のUPSとサーバをつなぎ変えた．平常時の電流は，許容電流の半分以下にするように，安全点検をした
電源コードの温度情報	サーバへの電源ラインが人肌より暖かくなっていた	サーバに，ハードディスクユニットを増設したことによって，消費電力が増加，15Aのコードに，14Aの電流が流れており，温度が上昇した．	サーバへの20A規格のNEMA-L5-20のコンセントに変更，さらに，電源ラインの追加，電流を10A未満に配線切り替えをした．

Linux

Chrome OS

アプリとＯＳ

ワープロ ，表計算，プレゼンテーションソフト，CAD，数式処理ソフト

ブラウザー上で動作するアプリ

マルチタスク，マルチユーザ，ファイル

電気エネルギーで動くコンピュータ

無停電電源装置(UPS)

電源の可用性-なぜ情報システムは電力を使うのか？-

もみ殻発電機 -バイオマス発電-

データセンターの火災

サーバー室のケーブル

ディスクの可用性

データベースソフトウェア

マルチユーザ環境下のデータベース

SQL

お天気判別学習システム「ともひろくん」

ワークステーションやPCの性能向上と低価格化

無償機械学習ライブラリーの提供

テンソルフロー機械学習実習システム

学生の成果物

ディープラーニングの原理

関連講義・参考書

【演習】AI実習 -判別学習モデルの作成と教師データ

コラム

アフィン変換と行列，GPU

ディープラーニングシステムでコンテナのビルド

関連リンク

ワープロ，表計算，プレゼンテーションソフト，CAD，数式処理ソフト