メモです

メモです

Mask R-CNNのDemoをGoogleColaboratoryでやった。

Mask_RCNN/demo.ipynb at master · matterport/Mask_RCNN · GitHub
をGoogleColaboratoryでやった。

※!を行頭につけるとLinuxのコマンドを実行できる
※%が行頭についているのはIPythonのマジックコマンド

Mask R-CNN(keras)で人物検出 on Colaboratory - Qiita
を参考にしてGoogleColaboratoryに入ってないやつを入れる。

!git clone https://github.com/matterport/Mask_RCNN.git
!cd Mask_RCNN
!pip install -r requirements.txt
%run -i setup.py install
!wget https://github.com/matterport/Mask_RCNN/releases/download/v2.0/mask_rcnn_coco.h5
!git clone https://github.com/waleedka/coco.git
!cd coco/PythonAPI
%run -i setup.py build_ext --inplace
%run -i setup.py build_ext install
#Mask_RCNNディレクトリまで戻る
cd ../../

matplotlibの設定

%matplotlib inline 
import os
import sys
import random
import math
import numpy as np
import skimage.io
import matplotlib
import matplotlib.pyplot as plt

# Root directory of the project
#GoogleColaboratoryのディレクトリに合わせる
ROOT_DIR = "/content/Mask_RCNN"

# Import Mask RCNN
sys.path.append(ROOT_DIR)  # To find local version of the library
from mrcnn import utils
import mrcnn.model as modellib
from mrcnn import visualize
# Import COCO config
sys.path.append(os.path.join(ROOT_DIR, "samples/coco/"))  # To find local version
import coco


# Directory to save logs and trained model
MODEL_DIR = os.path.join(ROOT_DIR, "logs")

# Local path to trained weights file
COCO_MODEL_PATH = os.path.join(ROOT_DIR, "mask_rcnn_coco.h5")
# Download COCO trained weights from Releases if needed
if not os.path.exists(COCO_MODEL_PATH):
    utils.download_trained_weights(COCO_MODEL_PATH)

# Directory of images to run detection on
IMAGE_DIR = os.path.join(ROOT_DIR, "images")

#エラーが出るので足す
from samples.coco import coco

class InferenceConfig(coco.CocoConfig):
    # Set batch size to 1 since we'll be running inference on
    # one image at a time. Batch size = GPU_COUNT * IMAGES_PER_GPU
    GPU_COUNT = 1
    IMAGES_PER_GPU = 1

config = InferenceConfig()
config.display()
# Create model object in inference mode.
model = modellib.MaskRCNN(mode="inference", model_dir=MODEL_DIR, config=config)

# Load weights trained on MS-COCO
model.load_weights(COCO_MODEL_PATH, by_name=True)
# COCO Class names
# Index of the class in the list is its ID. For example, to get ID of
# the teddy bear class, use: class_names.index('teddy bear')
#BGはBackgroundの略。常に0番目に来る。
class_names = ['BG', 'person', 'bicycle', 'car', 'motorcycle', 'airplane',
               'bus', 'train', 'truck', 'boat', 'traffic light',
               'fire hydrant', 'stop sign', 'parking meter', 'bench', 'bird',
               'cat', 'dog', 'horse', 'sheep', 'cow', 'elephant', 'bear',
               'zebra', 'giraffe', 'backpack', 'umbrella', 'handbag', 'tie',
               'suitcase', 'frisbee', 'skis', 'snowboard', 'sports ball',
               'kite', 'baseball bat', 'baseball glove', 'skateboard',
               'surfboard', 'tennis racket', 'bottle', 'wine glass', 'cup',
               'fork', 'knife', 'spoon', 'bowl', 'banana', 'apple',
               'sandwich', 'orange', 'broccoli', 'carrot', 'hot dog', 'pizza',
               'donut', 'cake', 'chair', 'couch', 'potted plant', 'bed',
               'dining table', 'toilet', 'tv', 'laptop', 'mouse', 'remote',
               'keyboard', 'cell phone', 'microwave', 'oven', 'toaster',
               'sink', 'refrigerator', 'book', 'clock', 'vase', 'scissors',
               'teddy bear', 'hair drier', 'toothbrush']
# Load a random image from the images folder
file_names = next(os.walk(IMAGE_DIR))[2]
image = skimage.io.imread(os.path.join(IMAGE_DIR, random.choice(file_names)))

をそのままやるとGoogleColaboratoryだとStopiterationのエラーが出るので

image = skimage.io.imread(os.path.join(IMAGE_DIR, "1045023827_4ec3e8ba5c_z.jpg"))

にした。(file_namesのところはMask_RCNN/imagesから適当に選ぶ)
後は

# Run detection
results = model.detect([image], verbose=1)

# Visualize results
r = results[0]
visualize.display_instances(image, r['rois'], r['masks'], r['class_ids'], 
                            class_names, r['scores'])

で表示する。

CSSフレームワーク「Bulma」でのdiv要素の中央寄せ

テンプレートを何個か見たが

<div class="column is-8 is-offset-2">

<div class="column is-3 is-offset-3">

でやっている気がする。

coloumを使おうが使わまいがとりあえず中央寄せしたいdiv要素にclass="column is-8 is-offset-2"を適用させて中央寄せが楽っぽい

慈善信託について

①日本のオリジネーターケイマン諸島のSPCに無議決権優先株式を与える

②SPCがケイマン諸島の信託会社に株式を全て譲渡(慈善信託)

③SPCが用済みになると残余財産(1000ドル程度の資本金が残る)を慈善団体に寄付する

 

ケイマン諸島の信託会社はSPCに何も指図はしない

オリジネーター倒産の際に差し押さえ回避目的でSPCに資産を移したと破産管財人に主張されるのをさけるために、SPCの株主は第三者の信託会社

・信託会社の株主はケイマン諸島の弁護士

 

目的

・倒産隔離

・コスト節約

 

なぜケイマン諸島でSPCを設立するか

・設立が容易

・コストが低い

田中コーパスの説明

田中コーパスとは何か

故田中康仁教授が作られた日英対訳コーパス(パラレルコーパス)。学生に1人あたり300個の文章を翻訳するように言って数年かけて収集したもの。その後、重複の削除などを経て15万文程度までに縮小した。

特長

・146,784文が日本語と英語の両方で書かれている。
・翻訳者が1人ではない。
・短いセンテンスが大半。英文の長さは平均7.72語。最長で45語。
・40%が会話文。
・日本人の大学生が翻訳したため、たまに誤訳が混ざっている。
コーパスには以下のような文章も含まれるので処理の際は注意。

彼のメールアドレスは hirosey@genet.co.jp です。
ヒントの ***** の数と語の中の字数とは関係がありません。
回答にはアンカーを必ずつけて下さい。半角で ">>"+数字(例: >>1)です。
アートファイル(.art)の使用法がわかりません。
魔力(Magic):魔法を使うために必要な能力値。 魔法を使うと減少するが、時間で回復する。
私どものウェブサイトhttp://www.example.comは、あなたに必要な情報を全てお伝えします。

入手方法

Tanaka Corpus - EDRDG WikiのDownloadsのcomplete version (UTF-8)をダウンロードして、解凍。
example.uftをexample.txtとかにファイル名を変更してエディタで開く。
なお、メモ帳で開こうとすると開けないと思う。テキストエディタAtomだと開けることは確認した。

入手方法2

odashiさんが独自に田中コーパスから5万文を抽出したもの。
GitHub - odashi/small_parallel_enja: 50k English-Japanese Parallel Corpus for Machine Translation Benchmark.

よく使う前処理

 
シャッフル

perl -MList::Util=shuffle -e 'print shuffle(<>)' < tanaka_corpus.txt > tanaka_corpus_s.txt

※15万行のファイルをshufでシャッフルしようとするとターミナルの動作が停止する。

各行を日本語ファイル(.ja)と英語ファイル(.en)に分割するとき

cut -f1 処理前のファイル名.txt| sed 's/^A: //' > tanaka.ja 
cut -f2 処理前のファイル名.txt| sed 's/#.*$//' > tanaka.en

バリデーション用(1500行)とテスト用(1500行)に分割して残りを学習用にするとき

sed -n -e '1,1500p' tanaka.en > dev.en
sed -n -e '1,1500p' tanaka.ja > dev.ja
sed -n -e '1501,3000p' tanaka.en > test.en
sed -n -e '1501,3000p' tanaka.ja > test.ja
sed -e '1,3000d' tanaka.ja > train.ja
sed -e '1,3000d' tanaka.en > train.en

注:分かち書きしてないのでOpenNMTとかにそのまま投入しないこと

おまけ

#わかちがき
mecab -Owakati 入力ファイル > 出力ファイル

#田中コーパス全体の単語の出現頻度
mecab テキストファイル名.txt | cut -f 1 | sort | uniq -c | sort -r -n

#先頭1の行
grep '^1 ' 入力ファイル > 出力ファイル

#行頭空白削除
sed -e 's/^[ ]*//g' 入力ファイル > 出力ファイル

自然言語分野の機械学習の勉強におすすめの本

機械学習の本は普通にややこしい数式がガーッと書いてあるだけのやつが多いが、これは割と説明も豊富でよかった。当然、1ページを読むのにすごい時間がかかるが、頑張って読めば基本的な事項が身に付いた。TransformerやAttentionについても触れてあるのでよかった。

Error 'hoge.eps' not foundと出る

【状況】

epsファイルが確実にあるなのになぜかnot foundとエラーが出た

【環境】

エディター:Atom

OS:macOS Mojave

バージョン:Tex Live 2018

uplatexでbuild

【解決策】

epsファイルのファイル名を一度変更して、Texファイル内のも同じように適当に変更してもう一度ビルドする。(hoge.epsからhog.epsみたいにする)

そうするとなぜか上手いく…。

 

黒魔術だが何かの参考になれば