HOME 教育状況公表 令和3年9月21日
情報処理概論 戻る 進む 講義スライド
情報処理概論 WebClass files syllabus 52210 C1 情報機器の準備 ウェブ講義の接続
伊藤智博(ITO Tomohiro) 、神保雄次(JINBO Yuji)

オペレーティングシステムとデータベース~ビッグデータと機械学習~


2016年、このままでは ジリ貧 だ、経済産業省が危機感をあらわにした。 文部科学省も小学校にプログラミング教育を義務化した。 でも教えたことのない先生が不安で仕方ない。 山形大学工学部にも高額なAI専用マシンが導入された。 国民の血税、次世代の負担である。 他人事と思わずに、ぜひAI専用マシンを使いつぶすぐらいの気持ちで、学んで、卒業して欲しい。

AI専用マシンの使い方について,情報・エレクトロニクス学科の田中先生にお聞きください. 使い方の資料は,https://yzcsc.yz.yamagata-u.ac.jp/Manual/DeepLearning/のURLを見てください. Singularityのコンテナの作成方法がわからないとの問い合わせがありましたので,コラムに追加しました.

156
第4次産業革命 -日本がリードする戦略-
©Ministry of Economy, Trade and Industry
https://www.meti.go.jp/main/60sec/2016/20160729001.html
Webアプリスマホアプリ
ビッグデータ
WiFi、インターネット
マイク、カメラ、温度センサー、温度センサー、加速度センサー
デジタル社会 がもたらす スマートシティ を支える技術
01.情報処理概論 13.情報処理概論

オペレーティングシステム(OS)

情報技術基礎, pp.58-60

Windows

Microsoft社が開発したパソコン向けOS,http://www.microsoft.com/ja-jp/windows/Default.aspx

山形大学の無線LAN

android

事実上シングルユーザーのマルチタスクオペレーティングシステム。事実上シングルユーザーのため、端末認証の積極的導入が可能。サーバーサイドよりクライアントサイドで威力を発揮します。 可動部分を持つ高価なデバイス(マウス、キーボード、HDD)や3次元形状を持つ高価な部品(コネクタ、ケーブル)などを可能な限り排除し、プリンテッドエレクトニクスを駆使した端末を積極的に活用することで安価なクライアント環境をユーザーに提示します。 またHTMLとJavaScriptを使ったストアアプリの導入することと、データベースをクラウド上に保持してサーバーサイドの計算リソースを使うことでクライアントの負荷を低減し、端末OSに依存しないサービスの提供を目指しています。 ガラケーと同じ形の、ガラホにも搭載されました。

Android の世界は、 スマホやタブレットから、 時計、テレビ、そして自動車にまで,http://www.android.com/

Linux

Linuxとは、1991年にフィンランドのヘルシンキ大学の大学院生(当時)Linus Torvalds氏によって開発された、UNIX互換のOS,UNIXの歴史


Chrome OS

>> 報告です。 >> >> Chrome Bookで学内にvpn接続できました。WebStoreでF5 Accessで検索してアプリのF5 >> Accessをインストールしてあとは適宜設定すれば学内に入れました。これで学外から勤怠管理だとか会計システムにアクセスができます。 >> >> Chromeでもリモートデスクトップ接続もあるようですね。 >>
Diginnos Can PCとマウスコンピュータのNH1とかいう スティック型PCのChrome OS化できました。基本は、 http://itsupport.cbit.co.jp/archives/806 そのまんまです。今はneverwareのサイトのChromeOSは64bits 版しかありません。 ポイントはインストール先のPCのBIOS設定画面をどのように出すか です。上記2機種はPower OnしてからEscキーをカチャカチャ押し続 けることでできました。 スティックPCはCPUパワーとメモリ容量不足で動きが遅い。 Can PCはちゃんと動きましたね。YouTubeも問題なし。ただし、 HDMIでテレビに音が送られていない。どうしたんでしょう? Can PCに付属していたカメラもZOOMで使えましたが、さすがに 動作が重い。

アプリ

アプリの種類
種類オペレーティングシステムデバイスインストール
Webアプリ PC、スマホ、クロームブック Google Apps, Office 365、facebook不要
Windowsアプリ Windows PC ワープロ ,表計算,プレゼンテーションソフト,CAD,数式処理ソフトストア
アンドロイドアプリ アンドロイド スマホ Line、QRコードリーダーストア

情報技術基礎, pp.61-71


ワープロ ,表計算,プレゼンテーションソフト,CAD,数式処理ソフト

ブラウザー上で動作するアプリ

Google Apps, Office 365

マルチタスク,マルチユーザ,ファイル

情報流出問題

のばっく
ストレージの種類
種類ビジネスモデル 可用性
内部ストレージ 所有またはレンタル(プロダクト) 不要 パソコンでは内蔵HDDやSSD、スマホやタブレットではフラッシュメモリ
外部ストレージ 所有またはレンタル(プロダクト) 不要 パソコンではUSBメモリ、外付けHDD、外付けSSDを、スマホやタブレットではmicroSDカード
ネットワークストレージ 所有またはレンタル(プロダクト) NAS
クラウドストレージ 無料または月額制(サブスクリプション) Googleドライブ、OneDrive(クラウドサービス、データセンターで管理)
11.情報処理概論 01.情報処理概論

クライアントサーバシステムと可用性

Webアプリに使われる言語
言語説明
クライアントサイド html, css, javascrpt クライアントサイド言語、フロントエンド言語
サーバーサイド .NET VBscript(asp) JavaScript(Node.js) Ruby Python PHP サーバーサイド言語、バックエンド言語といいます
データベース SQL データベースでデータの取得、保存、更新、削除などを行う言語です。
情報処理概論 卒業研究

VPNでゲートウェイサーバに接続するにはクライアントに 証明書 を入れたり、資格情報を設定したりする必要がある。

ネットショッピングでは クライアントが自分のPCがクライアントコンピュータ、ショップを運営する会社のPCがサーバコンピュータである。 個人を特定するためにサーバコンピュータにアカウントを作ってログオンすることで取り引きがはじまる。


無停電電源装置(UPS)

UPSにバッテリーユニットの写真

電源の可用性-なぜ情報システムは電力を使うのか?-

そもそも,なぜ情報システムは電力を使うのか?

ディスプレイなら光を出す。スピーカーなら音を出す.光も音も出さずに,廃熱だけするCPUは,なぜ電力を使うのか? 安全なシャットダウンとは,とういうことなのか?そこから解説していきたい.

デジタル情報は,極端に言えば0か1かだ. たとえ0から1に遷移するときでも,0.5という状態は,許されない. ところが、現実世界では,瞬時ということはあり得ない.たとえナノ秒以下だろうと,必ず時間遅れが存在する. だから遷移の途中で、停電が起きるとシステムはエラ-だらけになってしまうのだ.

図 0から1への状態変化のトランザクション

遷移の途中をトランザクションと言い, 0か1かの安定状態に落ち着いたことを「コミットした」と言う. 安全なシャットダウンとは,全てのトランザクションがコミットした状態で,電源を切ることなのだ. だから,全てのトランザクションがコミットするまで,無停電源装置で,その間の電力を確保する.

大きなシステムでは,処理中(トランザクション)の何ギガバイトもの情報をコミットさせなくてはならない. コミットするまでにかかる時間も相当なものになる. だから,クライアントサーバーシステムの可用性で,もっとも大切で難しいのが,電力の安定供給である.一般的な無停電源装置(UPS)では標準で5~10分程度のバックアップ時間である. 仮想化基盤により1台の物理サーバに10台以上の仮想マシンを構築できる.停電時に安全に仮想マシンを停止するためもシャットダウンプロセスの時間が10分以上になることも多々ある. また,太陽光発電やディーゼル発電機(一般非常用発電機)などによってサーバの電源のバックアップに利用されている.

工学部学術情報基盤センターのソーラー発電の受電設計(最大6kVA, 3Φ3W, 200V)

2019年11月から山形大学工学部学術情報基盤センターの電源ラインには非常用ディーゼル発電機の電源が加えられ,商用電源,太陽光発電,非常用発電機の3つの電源となる.

2019年11月からの学術情報基盤センターの電源ライン
学術情報基盤センターのエネルギーミックス
項目商用電源ディーゼル発電太陽光発電
平常時 18 0 2
日中の停電 0 18 2
夜間の停電 0 20 0
ディーゼル燃料切れ* 0 0 5
*ディーゼル燃料切れとは,停電時にディーゼルエンジンの燃料がなくなり,さらに,日中太陽光発電が利用できることを意味している.通信機器だけ,動作させ,緊急用のネットワークが利用できる.
工学部学術情報基盤センターの一般停電用発電機(80 kVA, cosφ=0.8, 50 Hz;軽油 760L)
ディーゼル発電機の定格と運用実績
項目単位備考
定格出力 80 kVA 50Hz
実負荷容量 24 kW 負荷がインバータのため、計算書より負荷の容量の3.3倍の発電機が必要
燃料種別 軽油(3号) 冬季間の運転のために冬季間に給油
排気ガス規制 第三次 発電機:DGM1000MI-PE(エンジン:いすゞ BI-4HK1X)
運転時間 60 h
燃料消費量 336 L 運転時間60時間で
2021年3月の給油量
電力(夏場) 22 kW 7月下旬 気温30度の条件
電力(冬場) 19 kW 1月中旬 気温-2度の条件
発電電力量 1,200 kWh 4320 MJ
CO2排出量 879.984 kg 2.619 kg-CO2/L
熱量 12835.2 MJ 38.2 MJ/L
発電効率 34 %
発電機運転時の電力の値は、発電機の軽負荷運転を防止するために,必要に応じて,電熱器を接続して調整したものである.

非常用発電機の運用には,大学の施設部や部局などの協力がないと不可能である. その1つとして,非常用発電機には軽油が用いられることが多いが,消防法によるとその指定数量(第2石油類)は,1000Lである.この量を超える場合は危険物取扱者責任者の届出が必要になる. それ以外にも,電気事業法施行規則によると,10kW以上の出力の内燃機関を用いた発電機は,電気工作物であり,.(正確には,第三十八条第二項に示されるように内燃力を原動力とする火力発電設備であって出力十キロワット未満の場合を除く内燃機関が電気工作物になる.) この場合,電気主任技術者が必要になるようである.本学の小白川キャンパスに導入されている発電機は,1000L以上の軽油を貯蔵しているため,危険物として取り扱われている.


小白川キャンパス情報ネットワークセンターの非常用発電機(3日間連続稼働可能)

さらに,寿命とランニングコストの算出が必要であり,ディーゼル発電の方が明らかに低コストで実現できる. リチウム電池を搭載した太陽光発電では,電池寿命が10年程度である. 特に,導入費用は,文部科学省の政府調達の落札状によると,30kWh, 20kVAの自立負荷出力の能力で,4400万円である. 一方,ディーゼル発電の導入費用は,80kVA, 10時間の能力で,1300万円であり,イニシャルコストが太陽光発電の数分の1である. また,ディーゼル発電による自家発電装置の税法上の耐用年数は,15年であり,国土交通省官庁営繕基準では30年と,正しく整備することで数十年間利用できる.

                   落札者等の公示

 次のとおり落札者等について公示します。
 平成25年11月11日 
[掲載順序]
 ①品目分類番号 ②調達件名及び数量 ③調達方法 ④契約方式 ⑤落札決定日(随意契約の場
 合は契約日) ⑥落札者(随意契約の場合は契約者)の氏名及び住所 ⑦落札価格(随意契約の
 場合は契約価格) ⑧入札公告日又は公示日 ⑨随意契約の場合はその理由 ⑩指名業者名(指
 名競争入札の場合) ⑪落札方式 ⑫予定価格

○契約担当役 国立大学法人山形大学工学部長 飯塚  博 (米沢市城南4-3-16)
◎調達機関番号 415 ◎所在地番号 06
 ①26 ②リチウムイオン電池を備えた太陽光発電システム 一式 ③購入等 ④一般 ⑤25.9.2
 7 ⑥山形パナソニック株式会社(山形県山形市平清水1丁目1番75号) ⑦44,730,000円 ⑧2
 5.7.26 ⑪最低価格


もみ殻発電機 -バイオマス発電-

二酸化炭素を減らすために,もみ殻をつかったバイオマス発電を行われている. データセンターも100%再生エネルギーによるサービス継続を目指している. データセンターのエネルギーミックを如何にするか?それともインターネットも,クラウドもつかわないか?

318
もみ殻発電の様子
©

データセンターの火災

データセンターの火災や障害によって、銀行のインターネットバンキングが停止することもある。 例)2021/6/24 22時 IBMデータセンター発煙

学術情報基盤センターのヒヤリハット事例
項目状況原因対応
分電盤のブレーカトリップ 当然、ブレーカが落ち,サーバがつながっているUPSから警告音が発生 負荷の容量の増加,UPSの許容量以下ではあったが,サーバの負荷が情報したタイミングで引き込み電源のブレーカがトリップした 一部のサーバを別UPSに接続した.
停電から復田後にブレーカがトリップ 落雷による停電の後,復田したときにブレーカがトリップした 同一電源からUPSとサーバを複数台利用していた.平常時は,10Aの電流を確認していたが,復電後の充電電流を計算していなくて,ブレーカが落ちた 別電源系統に一部のUPSとサーバをつなぎ変えた.平常時の電流は,許容電流の半分以下にするように,安全点検をした
電源コードの温度情報 サーバへの電源ラインが人肌より暖かくなっていた サーバに,ハードディスクユニットを増設したことによって,消費電力が増加,15Aのコードに,14Aの電流が流れており,温度が上昇した. サーバへの20A規格のNEMA-L5-20のコンセントに変更,さらに,電源ラインの追加,電流を10A未満に配線切り替えをした.

サーバー室のケーブル

サーバー室はケーブルの山になる.そのケーブルを整然と配線するための1つとしてケーブラックが使用される.


サーバ室モニタリング

08:50現在、サーバー室の温度は、24.9 ℃です。

> 詳細ページ

ディスクの可用性

RAID5によるディスクの可用性向上
RAID6によるディスクの可用性向上

可用性:システムがダウンしないこと,情報技術基礎, pp.19

例:認証サーバ,インターネットサーバ,マルチデバイスとクロスデバイス,電源のバックアップ(UPS),ハードディスクの多重化(RAID)


データベース

データベースは、物流、ネットショップ、名簿、 在庫管理 などさまざまな業務の基幹だ。 コンピュータでは、データベースは、テーブルの集合として実装される。 テーブルは、フィールドとレコードからなる。 たとえば、化学物質のサンプルの管理をするのにデータベースを使うなら、 サンプルのテーブルとサンプルの使用履歴のテーブルが必要だ。 サンプルノテーブルには、供給元、入手日時、管理者などのフィールドが必要であり、 サンプルの使用履歴のテーブルには、サンプルID、使用者、使用日時などのフィールドが必要だ。 このようにフィールドやテーブル、あるいはその関係に名前をつけてゆく作業をデータベースの設計という。


データベースソフトウェア

Access, SQL, FileMaker

マルチユーザ環境下のデータベース

ユーザーごとの権限,同時に更新が行われても整合性が保たれる


機械学習,ディープラーニング,AI

スーマートフォンの顔認証は,AIによって特徴を捉え,顔を判別している.産業にも活用する研究が盛んにおこなわれている. 伊藤らは,ディープラーニングを導電性高分子アルミニウム電解コンデンサの評価装置に応用することを見出し,特許の出願および発表をしえている. さらに,電子スピン共鳴法(ESR)のスペクトルの判別やカメラのお天気判別,稲の白穂,水耕栽培の水やりタイミングの判別などいくつかの応用研究を行っている. 画像の判別はディープラーニングでAIに置き換えできる.こんな時代に,ヒトは何をすべきか?コンピュータの消費電力が多くなり,地球温暖化やエネルギー需要とバランスを如何にするか? 増え続ける学習データの保存先をどこにするか?


お天気判別学習システム「ともひろくん」

教えててんき(教師データ作成システム)

判別システム

ワークステーションやPCの性能向上と低価格化

2017年には,2TBで64コアの計算機が1000万円で購入できる時代となった. 市販のPCでも機械学習を動作させるために必要とされる8GBのメモリが標準で搭載される.Mathematicaにもディープラーニングの機能が追加されている.


無償機械学習ライブラリーの提供

テンソルフローやCafeなどをはじめとする無償な機械学習ライブラリーが提供される.これらによって,機械学習やニューラルネットワークの専門の研究者のみの世界から一般人も簡単にAIを使いこなせるようになる.

テンソルフロー機械学習実習システム

テンソルフローはパイソンで学習プログラムを記述できる. このシステムのコンセプトは,テンソルフローの環境整備を不要にし,さらに,短い時間でコードを書かせるかに特化ている. ウェブページからコードを入力して,登録することで,自動的に機械学習計算ノードによって,機械学習が進む.次の日には,機械学習が完了している.また,勉強する人のために,pythonのソースコードをダウンロードでき,独自に応用展開ができるようになっている. システム使い方は,AIプログラム登録ページからテンソルフローのコードとcsv形式の学習データを入力(登録)することで利用できる. 登録されたテンソルフローのコードは,バックエンドにあるいくつかの計算サーバにジョブが割り振られ,機械学習がスタートする.大規模な計算ノードではないので,気長に待っていただければ助かります. 学習の進捗状況は,テンソルフローパイソンコード一覧サイトから確認できます. 学習による誤差の値が表示されるので,その値が小さくなれば学習完了となる.(開発中の部分もあるので,バグなどがありましたら,伊藤まで教えてください.)

今井君のテンソルフロー学習システムの使い方のページ


AI実習システム
©Copyright Tomohiro Ito, Tomohiro Ito all rights reserved.

学生の成果物

AI実習システムを使って,受講生が作成したAIモデルの成果物を以下に示す. 2021年度,コロナ禍で在宅からの学習が強いられる中で,44件のディープラーニングの学習モデルが提案された.なお,40名中31名の学生が提出した. 2020年度は,受講生18名から,30件のディープラーニングの学習モデルが提案された.(履修者数は,33名であった.) 学長裁量経費のディープラーニングシステムを活用しようとしたが,90分の講義時間内に収めようとすると難しかったので,断念した.

大学院では,研究過程で発見した学習モデルを作り,ウェブページに画像データベースを構築し,実践的なデザインサイエンス教育を行っている.→大学院生の成果物

ディープラーニングの原理

ディープラーニングは,行列で表現される.2年生の前期の授業ということであり,数学の詳細は触れないが,学習モデルの設計が重要である.例えば,レモンであると,それ以外の2つのシンプルなモデルを作り,その教師データの質を高め学習されるかに,かかっている.


ESRスペクトルのAI計算式
©Copyright Tomohiro Ito, C1 laboratory all rights reserved.

関連講義・参考書


【演習】AI実習 -判別学習モデルの作成と教師データ

ディープラーニングの学習モデルの作成と教師データを作成し,ディープラーニングを学習させてみましょう. テーマは,お天気判別システムです.ウチダの「IoT百葉箱」を画像データを使って,教師データを作成してください.

1.判別学習モデルの決定
判別学習モデルを決めます。例としては、お天気が晴れ(1),それ以外(0)や,お天気が雨(1),それ以外(0)である。
2.csv形式の教師データファイルの作成
csvファイルの形式は、画像URL,意味です。CVSファイルのコンマを区切りにして、左側に画像のURL,右側に判別学習モデルの意味である1または0を記述している。 IoT百葉箱の画像データベースは,http://iot100.uchida.co.jp/のURLから閲覧できる。 この画像データベースを使ってCSVファイルを準備してください。
http://iot100.uchida.co.jp/iot100api/public/getscene/74/1/original/201804220740,1
http://iot100.uchida.co.jp/iot100api/public/getscene/74/1/original/201804260540,0
http://iot100.uchida.co.jp/iot100api/public/getscene/74/1/original/201804240710,0
    (中略)
http://iot100.uchida.co.jp/iot100api/public/getscene/74/1/original/201805170730,0
http://iot100.uchida.co.jp/iot100api/public/getscene/74/1/original/201806300800,1
http://iot100.uchida.co.jp/iot100api/public/getscene/74/1/original/201804020500,1
3.コードとcsvファイルのウェブ入力

AIプログラム登録ページ(https://b.yamagata-u.ac.jp/amenity/Laboratory/DeepLearning/TensorflowCodeForm.aspx)で判別学習モデルの名称(キャプション)と教師データのCSVファイルの内容を登録してください.

本学以外の方は,https://a.yamagata-u.ac.jp/amenity/Laboratory/DeepLearning/TensorflowCodeForm.aspxのページで,pythonのソースコードジェネレータを体験できます.

4.学習結果の確認(学習完了まで1週間待ち)
画像判別の確認サイトで任意の画像について判別を試みる。

コラム

アフィン変換と行列,GPU

GPUはアフィン変換アクセラレータ!

アフィン変換とは、図形を回転させたり引き延ばしたりする変換のこと。線の図形の移動を考えてみよう。 y = x の式をy軸方向に2移動したら、どうなるかなぁ。

x = x ' , y = y ' - 2 を代入して、 y ' = x ' + 2 とし、線を移動するだろう。

行列で表現してみよう。

x' y' = 1 0 0 1 x y + 0 2 と表せる。

次元を1つ上げた3次元の座標系にすると、

x' y' 1 = 1 0 0 0 1 2 0 0 1 x y 1 と表せる。

ディープラーニングの原理の図を見ると行列の計算を沢山やっている。ディープラーニングで、GPUサーバが利用されるのは、GPUがグラフィック計算に特化し、行列計算が得意な計算ユニット! AIデザイン教育推進センターGPUを沢山搭載した計算機が導入された。 多額の税金が投入されたもの。ぜひ、この機会に、使えるだけ使ってください。使い方は、AIデザイン教育推進センターをご覧ください。

2021.6.29に,WebClass のAIデザイン教育研究推進センター掲示板に,各種マニュアルやサンプルプログラムを掲載したそうです. WebClassのコースに,AIデザイン教育研究推進センター掲示板を追加して,ディープラーニングシステムを使ってみてください.

xy-6-4-202466420-2-4-6 L 353.535353535354 -3.33333333333337 L 353.535353535354 -58.3333333333333 L 353.535353535354 -3.33333333333337 L 353.535353535354 -58.3333333333333
. アフィン変換 (座標移動)

ディープラーニングシステムでコンテナのビルド

ディープラーニングシステムではコンテナを使って機械学習のプロセスを実行するようである. コンテナエンジンとして,Dockerが有名であるが,Dockerはコンテナをビルトづるときに,root権限が必要になる. そこで,本学のディープラーニングシステムでは,singularityエンジンを使って,root権限がなくてもビルドできるようになっている. その一例を下記に示す.

nvidiaのDEEP LEARNING FRAMEWORKSからDockerコンテナをダウンロードして使いたいを例として説明する. https://docs.nvidia.com/deeplearning/frameworks/tensorflow-release-notes/running.html#runningにアクセスし,dockerのpullコマンドを確認する. 2021/3/17では,docker pull nvcr.io/nvidia/tensorflow:21.02-tf2-py3が最新版をDockerで取得するときのコマンドである. singularityでは,singularity build filename.sif docker://の後に,nvcr.io/nvidia/tensorflow:21.02-tf2-py3の部分の追記することで,singularityのコンテナイメージファイルを作成できる. 具体的には下記のようなコマンドを入力する.

singularity build tensorflow_21.02-tf2-py3.sif docker://nvcr.io/nvidia/tensorflow:21.02-tf2-py3
INFO:    Starting build...
Getting image source signatures
Copying blob 83ee3a23efb7 done
Copying blob db98fc6f11f0 done

コンテナイメージの動作確認は,下記のようなコマンドでできる.

singularity shelltensorflow_21.02-tf2-py3.sif
Singularity> date
Wed Mar 17 17:48:14 JST 2021
Singularity>

関連リンク


山形大学 大学院 理工学研究科 C1ラボラトリー
〒992-8510 山形県米沢市城南4丁目3-16 3号館(物質化学工学科棟) 3-3301
准教授 伊藤智博
0238-26-3573
http://c1.yz.yamagata-u.ac.jp/

QRコード
https://edu.yz.yamagata-u.ac.jp/Public/52210/52210_11.asp

SSLの仕組み

このマークはこのページで 著作権が明示されない部分について付けられたものです。

山形大学 データベースアメニティ研究所
〒992-8510 山形県米沢市城南4丁目3-16
3号館(物質化学工学科棟) 3-3301
仁科・立花・伊藤研究室 准教授 伊藤智博
0238-26-3573
http://amenity.yz.yamagata-u.ac.jp/

Copyright ©1996- 2021 Databese Amenity Laboratory of Virtual Research Institute,  Yamagata University All Rights Reserved.