Apache NiF トラブルシューティングとあるある

・GetHTTPプロセサでSocketException Invalid Argumentエラー

（おそらく）君の使ってるJavaのバージョンが古いからエラー

java version "1.7.0_55"

Java(TM) SE Runtime Environment (build 1.7.0_55-b13)

http://stackoverflow.com/questions/16191236/tomcat-startup-fails-due-to-java-net-socketexception-invalid-argument-on-mac-o

JDKをこっからダウンロードして

java version "1.8.0_91"

Java(TM) SE Runtime Environment (build 1.8.0_91-b14)

にしたら動きました。（＞＞そのせいで多分某ゲームが動かなくなるのでバージョン切り替えできるようにする）

＊＊＊＊＊＊

・REST API呼び出せない

Pathは/nifiじゃなくて/nifi-api

> The API lives at /nifi-api, so the address you are looking for would 
> be http://localhost:8080/nifi-api/controller/about

httpsが必要なものがあるようで、とりあえず呼べたのはこれ

http://localhost:8080/nifi-api/controller

NiFiプロセサ紹介 ExecuteProcessとPutFile

ExecuteProcess
OSのシステムコマンドを実行して結果をFlowFileに出力する。
処理が長くなりそうな場合はBatch Durationに時間を設定するとその時間間隔で出力を分けてくれるのでテキストの出力の場合は活用してもいいかもしれない。

PutFile
ローカルのファイルシステムにFlowFileを書き込む。
DirectoryにFlowFileを書き込むディレクトリを設定する。

sample1は上記二つのプロセサを組み合わせて/tmp/nifi_tempディレクトリにデータを出力するテンプレートファイル
ExecuteProcessプロセサが"Hello"を引数としてEchoの実行を行い、PutFileプロセサがFlowFileの出力を行う。

※windowsでExecuteProcessを使用する場合は、commandをcmdとして引数に実際のコマンド（ /c echo hello）などと打てば、動く
**************

ExecuteStreamCommand

図にするとこんな感じかな

やり方いろいろあるだろうがExecuteStreamCommandのCommand Pathにはシェルスクリプトやバッチファイルの場所を書いたほうが無難みたい。

***************
 GenerateFlowFile
 負荷テストなどの目的で利用できるランダムデータからなるFlowFileの生成が行える。
 File Size :生成したいファイルサイズ
 Data Format  :テキストかバイナリか選べる

sample2ではGenerateFlowFileプロセサが10KBのランダムな文字列からなるテキストファイルを2秒ごとに生成し、PutFileプロセサがFlowFileの出力を行う。
*************
GetHTTP
指定したURLに対してGETリクエストをかけて、取得したボディを指定した名前のFlowFileにする。

sample3ではHTTPGetプロセサがhttp://localhost:8080/nifiを呼び出し、結果をtest3.txtというファイルに保存する。念のためSchedule Durationを十日後に設定している。PutFileプロセサがFlowFileの出力を行う。
（SDKのバージョンによってエラーが出る場合があるため注意せよ）
＊＊＊＊＊＊＊

Apache NiFi ドキュメントリンク

ドキュメント構成はこちら

Getting Started with Apache NiFi　は初めてNiFiを使う人向けの「とりあえず動くの確認」用のチュートリアル
Apache NiFi User Guide　はUIの操作を中心にNiFiでユーザーができることをガイド
Apache NiFi Expression Language Guide　は属性値の判定や書き換えに使えるスクリプト言語の仕様書
　The NiFi Expression Language で属性値の参照したり別の値と比較したり加工したりできます。

NiFi System Administrator’s Guide　はユーザーの管理を含むシステム管理者向けの技術資料

/nifi-api　はNiFiをリモート操作できるRest APIの仕様

NiFi Developer’s Guide　はProcessorを中心としたNiFiのコンポーネント開発のための解説書

Apache NiFi Development Quickstart はNiFi本体を開発したい人のためのクイックガイド

Example Dataflow Templates　はデータフローのサンプルをtemplate形式でお送りしている

For Developers　は開発者向けの情報（アーキテクチャーやバージョンルールなど）

hortonworks-gallery/nifi-templates　はhortonworksによるtemplate集

Indexing Tweets with NiFi and Solr　NiFiでツイッターから情報とるサンプル

***************
プロセサの設定について
・プロセサは指定されたスケジュールにしたがって実行される。選べるのは
Timer driven: ‘Run duration.’の間隔にしたがって実行
Event driven:イベントドリブンで仮実装中（一部のプロセサで実行可能）
CRON driven:CRONの仕組みにしたがる。
の三種類

北斎漫画

北斎漫画Kindle版

•  ４０００図１４００ページがあなたのKindleに
•  北斎壮年時の作品集（つーか、気ままに書いた絵）
•  海外にも多大な影響を与える

Apache NiFi 初めて使う

Apache nifi

• ここからダウンードしましょ

• とりあえず使ってみるならここ　https://nifi.apache.org/docs/nifi-docs/html/getting-started.html#starting-nifi
  

Nifiの本はとてもすくない

量子力学メモ

電子・物性系のための量子力学 デバイスの本質を理解する

 

•  エネルギーという概念の重要性は、これが変換されることにあり、しかもその過程で常に保存されることにある

子どもは遊べなくなったのか―「気になる子ども」とヴィゴツキー=スピノザ遊び理論

 

「神谷栄司京都橘大学教授編纂の『子どもは遊べなくなったのか』（2011）によると、最近、ルールの下で勝ち負けを競う遊びをできない子どもたちが目につくようになっています。」自尊感情と遊び

自覚なき殺戮者

スペシャリスト / 自覚なき殺戮者

 

 

•  ミルグラムは閉鎖的な状況下での倫理性に関わる実験を行った
• これはアイヒマン実験とも呼ばれている

吉本隆明 転向論

転向論

  

「戦争体験を主体的にどううけとめたか、という蓄積感と内部的格闘のあとがないのだ。極論すれば、壺井には転向の問題も、戦争責任の問題もなく、いわば、時代とともに流れてゆく一個の庶民の姿があるだけである。また、もしこういう詩人が、民主主義的であるなら、第一に感ずるのは、真暗な日本人民の運命である」

「戦中に共産主義から転向して戦争協力詩を書き、戦後になると、復党して、他の戦争協力を糾弾する。いずれも安易に行われたとしか思えない。吉本はこの無責任な変節を非難する」吉本隆明論

タネンバウム本人によるminix解説

ペレーティングシステム―設計と理論およびMINIXによる実装 

 

物理数学の直観的方法

 

 「rotの意味というのは、ベクトル場を水流と考えた時、その流れの中にある微小な水車の回転速度と解釈できるのである。」

チャーリー（バード）パーカーにまつわる名言

ジャズの歴史

 「ヒッ プスターにとってバードは、彼らの哲学の生き証人であった。ヒップスターは、反社会的な人種である。 ダダイストが第一次世界大戦によって生み出されたものならば、ヒップスターは、第二次世界大戦が生み出したものである。ヒップスターは、病的な退廃といえ るほどに非道徳的であり、反社会的であるが、穏やかさと過度の洗練さを兼ね備えている。」

マルクスその可能性の中心で愛を叫ぶ

マルクスその可能性の中心

•  「思想家が変わるとは文体が変わるということにほかならない。論理的内容が変わっても文体が変わらなければ、彼はすこしも変わっていない」

Rと機械学習

Rの基礎とプログラミング技法

ルビィのぼうけんとお子様向けプログラミングの世界

ルビィのぼうけん

•  作者のLinda Liukasさんは元Codecademyにいて、絵本の着想を得て、キックスターターで約4万ドルの資金を調達

Apache Sparkと機械学習

Sparkによる実践データ解析

Pythonを使った機械学習本

Python機械学習プログラミング

•  『Python Machine Learning』の邦訳版

p値とその周辺

はじめての 統計データ分析 ―ベイズ的〈ポストp値時代〉の統計学

Cards Against Humanity

Cards Against Humanity Fifth Expansion

ツイン・ピークス クーパーは語る & 新シリーズ情報

ツイン・ピークス クーパーは語る

•  「ダイアン、事件だ」の前からクーパーは自分の行動を録音していた
•  ゴードンやウィンダムアール、キャロラインとのいきさつもこれ一冊で全て解明
• クーパーが録音に手を染めるのは1967年１２月２５日クリスマス、当時１３歳
• 初めて録音した機器はNorelco(Philipsのブランド名、パナソニックみたいなもんか)のB2000というオープンリール式のテープレコーダー
• 当時の彼のアイドルは映画FBIストーリーのジェームススチュワート
• 
  

スタニスラフスキー・システムは役者の感情や経験を想起して演技に応用する

芸術におけるわが生涯

•  スタニスラフスキー・システムはこの近代演劇の理念に忠実な演技法である

Ansibleは最近注目されてきた構成管理ツールでChefやPuppetの仲間でもっとシンプルなのがウリ

初めてのAnsible

•  Ansibleは最近注目されてきた構成管理ツールでChefやPuppetの仲間

The People of the Abyss どん底の人々

決定版ジャック・ロンドン選集〈1〉野性の呼び声・どん底の人々

•  １９０２年ジャックロンドンはイギリスの首都、ロンドンの貧民窟に潜入した

自宅で始める製造業 Autodesk 123D Design

自宅ではじめるモノづくり超入門

•  3Dプリンタの登場によって、ご家庭でも様々なものが作れるようになった
•  本書はAutodesk 123D Designを中心に、モデリング、自宅や出力センターでの印刷、製造や販売に至るポイントまでを紹介する

Excelで学ぶフーリエ変換 ＆ Excelで色々できる

Excelで学ぶフーリエ変換

•  高校数学もExcel、微分・積分もExcel、ベイズ統計もExcel
•  金融数学もExcel

初めてのWatson APIの用例と実践プログラミング 

東大准教授に教わる「人工知能って、そんなことまでできるんですか?

•  対談形式で様々な文脈で人工知能を解説
•  対談下段で様々な用語を解説
•  膨大な問いにみんなも読みながらこたを出してみよう

Sherlock The Abominable Bride シャーロック　忌まわしき花嫁

•  BBCの人気シリーズ現代版シャーロックがヴィクトリア時代に舞台を移して劇場公開
•  ホームズシリーズでは作中でしか語られなかった物語が、語られざる事件（The Untold Tale）としてまとめられている

「スターアーサー伝説」惑星メフィウスはこうして作られた

•  1983年発売のSF超大作アドベンチャーゲーム
•  トリロジーになっている

Tweets about 惑星メフィウス

物理方程式あるある

世界でもっとも美しい10の物理方程式

•  世の中に影響を与えた美しい１０の方程式を解説

 「不 満はやがて自暴自棄をもたらした。１８８９年、アイルランドの物理学者ジョージ・フィッツジェラルドは、パラグラフがひとつしかない短い論文ーー文章も たった五つしかなく、式は一切含まれていないーーを書き、そのなかで、マイケルソン＝モーリーの実験をマクスウェル、ニュートン両方の体型と調和させるこ とのできる「ほとんど唯一の仮説」は「物体がエーテルのなかを、つまり、エーテルに逆らって運動する際に、光速に対する物体の速度の比を二乗した値で決ま るある量だけ、物体の長さが変化する」というものだと述べた。

（略）

もうひとりやけくそになった人物が、オランダの理論家、ヘンドリック・ローレンツだった。」

予算一万円 百均の素材でおしゃべりロボット「マグボット」を作ろう

おしゃべりロボット「マグボット」-ラズパイとArduinoで電子工作

 

•  マグボットとは東京都市大学の小池研究室で考案開発されたのロボット
•  ついにやっちまった。身近な道具でロボット工作
•  ハロ、ロボコン、はっちゃん、ロボ丸がご家庭の素材とラズパイで
•  scratchにも対応

Tweets about Mugbot

とにかく訳文がうつくしい ドレの神曲 谷口江里也訳

ドレの神曲

•  ギュスターヴ・ドレの挿絵つきで、ダンテの世界をわかりやすくヴィジュアライズ
•  谷口江里也の訳がさえている、寿岳文章の訳も良かったが

「浮世は目に見えない煙で一杯だ。目は開いていても、見てはいても、結局視てはいないのだ。それに君たちはいつでも、どうして？とすぐに理由を求めようとする。訳が判ったら、それでどうだというのだ？」

・「蜂 はどんなに遠くへ行き、花の中に潜り込み向きを違えて出てきても、だれにも教えられることなく、おそらく考えることすらせずに、一直線に巣へと向かう。渡 り鳥が故郷を目指す、流れを超えて川を上る魚は決して誤ることがない。おそらく人間にとって愛とは、そうした初源の力なのだ。」

ボルヘスの「神曲」講義 

IC界の再帰関数 低価格タイマーIC555

タイマーIC　LMC555CN

•  オリジナルは1971年、Signetics社によって開発された
•  発売時の呼称は"The IC Time Machine"であった
•  IC555は抵抗とコンデンサの組み合わせで発振周期を決めることができる
•  二つのコンパレータとFlipFlopがタイマー発振を可能とする

Tweets about IC555

カーネルの本質を知り演習形式でLinuxの勘所を捉える

実習Linuxカーネル―理論と実習 カーネルを効率的に理解するための実習書

この書籍は概要編と実習編からなる



概要

•  カーネルの本質はリソースの抽象化にある
•  カーネルが提供する抽象化されたリソースに対しては、ある統一した手続きにで、デバイス（装置）にアプローチできる
•  本質的に、プログラムは計算機械（マシン）を操作する手段といえるが、マシンの細かい仕様（個々の装置に対してどのような信号を送れば動作するのか）を知らなくても、カーネルを通じて命令を送ることができる
•  あるいは、仮想的な機械を想定して、コンピューター上に同じ手続きで装置を作ることもできる。メッセージやセマフォといった仕組みや、いわゆるデータ型オブジェクトといった概念も、このリソースの抽象化が実現させている
•  プロセスとはリソースの中でも、プログラムを実行するCPU操作の抽象化である
•  Linuxにおいてはリソースの操作はプロセスによって行われることが大前提である
•  OSは「プロセスとリソースを管理」し、それらリソースの「メモリを管理」し、外部接続されていたり仮想的だったりする「デバイスを管理」し、それらデバイスへの媒体となる「ファイルを管理」する

実習

1. とりあえずカーネル変数を/porcを使って読み込んでいく
2. 並列処理を考慮に入れたLinux上のプログラミングを体験する
3. ソーネルのソースを読んでみる
4. カーネルの一部となる、スーパーバイザーモードで動くプログラムを作る
5. システムコールの追加
6. 共有メモリ機能の変更
7. 仮想メモリ機構の理解とチューンナップ
8. プロセス間の同期メカニズムである「イベント」について学ぶ
9. スケジューラの変更
10. プロセス間で利用するパイプをデバイスドライバとして実装
11. ディスクドライバの変更
12. ファイルシステムの作成

• １９７３年　ニューヨークで開かれたSOSPのワークショップにおいてデニスリッチーとケントンプソンによって”The UNIX Time-Sharing System (Abstract).”が報告される
•  １９６９年からから開発が始められたUNIXの設計思想が知られ始めたのは１９７３年のSOSP報告書による
•  UNIXの設計思想には二つの新たな方向性があった、一つはOSの小規模化と機能の軽量化であった
•  １９７３年時点で、OSと呼ばれるソフトウェアは大規模、多機能なソフトウェアという考え方が多い中、UNIXの設計思想は革新的だった
•  大学を中心にUNIXは普及し始め、１９９０年代にはメジャーなものになっていったが、同時に肥大化、巨大化していった 
•  １９９１年に開発が始められたLinuxは初期の設計思想に基づいた小規模化、軽量化が推し進められている

Unix考古学 Truth of the Legend

クッピーラムネが好き

クッピーラムネ

•  もともとは「グッピーラムネ」という名前でした
•  二代目社長が「キャラが欲しい」と提案
•  このいなたいリスとウサギ、名前はまだない

クイズ形式でScalaの陥りやすい間違いをお勉強

Scalaパズル 36の罠から学ぶベストプラクティス

オイラー自著による、無限解析の入門書

オイラーの無限解析

たのしいバイナリの歩き方 リバースエンジニアリングあるある

たのしいバイナリの歩き方

事例で学ぶ RFP作成術実践マニュアル RFPあるある

事例で学ぶ RFP作成術実践マニュアル

 

SpringBootプログラミング入門 SpringBoot あるある

SpringBootプログラミング入門

 

電子ブロックあるある

大人の科学マガジンＶｏｌ．３２（電子ブロックｍｉｎｉ）

 

Frothあれこれ

• Forthは1970年ころ、チャールズムーアによって開発された。
•  Forthはスタック指向である。
•  Forthの実装で活発なものはGNUのGForthである
•  Forthは逆ポーランド記法に準拠している
• 逆ポーランド記法の略称はRPN(Reverse Polish Notation)
• 逆ポーランド記法は日本語の文法と相性が良い
•  Forthはその透明感のある性質上、容易に暴走プログラムを作ることができる
•  全てのプログラムが論理的にLISPベースであるように、全てのプログラムは具体的にはForthベースである。

地獄絵あるある

絵解き 国宝六道繪『往生要集』の世界―前編 DVD-ROM

地獄百景

 

はじめてのForce.com

 

いちばんやさしいネットワークの本

オイラーの公式がわかる

 

太宰治の女たち