男女比はカレーと福神漬けと同じくらい

マサカリよろしくお願いします。

呉高専HPをスクレイピングしてワードクラウドを作った

これは呉高専エンジニア勉強会Advent Calendar 2017の15日目の記事です。

こんにちは。呉高専OB1年目の@euglena1215です。

AdventCalendar 4記事目になります。
あと6,7記事書かないと埋まらないだろうと思っていたのですが、色々な人に手伝ってもらって気付いたら全部埋まっていました!
もう感謝感激です。

f:id:euglena1215:20171215031355p:plain

こんな感じになりました。
高専はものづくりと国際交流を頑張ってるみたいです。

 

 

で、終わってもいいんですがちょこっと作り方をまとめてみます。

ソースコードはこちらになります。
GitHub - kure-kosen/kurekosen_wordcloud

基本的にはこのページを参考に(ほぼパクリ)しました。 qiita.com

!!!注意!!!

今回はrobots.txtを目視で確認したところ404が返ってきたのでスクレイピングしても問題ないと判断し、プログラム上ではrobots.txtのチェック処理を入れていません。
他のサイトへスクレイピングを行う際はrobots.txtを確認した上で実行してください。
また、リクエストの間隔を1秒以上空けるのがマナーなので気をつけましょう。

処理の流れ

  1. python get_url.pyhttps://www.kure-nct.ac.jp/ からアクセスできる呉高専ドメインのhtmlファイルのURLを全て取得し、url.txtに書き出します。
    イメージとしては、アクセスしていないURLのスタックとアクセス済みのURLのスタックを用意してアクセスしていないURLのスタックから済みのスタックへと移していきアクセスしていないURLのスタックが空になった時点で済みのスタックを書き出す感じです。

  2. python get_wordlist.py でurl.txtを元にhtmlファイル内の必要なテキストに形態素解析をかけて単語ずつに切り分けURLごとのファイルに書き出します。

  3. python wordcloud.pyで2. で書き出された単語を元にワードクラウドを生成します。
    2.で書き出されたファイルのファイル名はURLとほぼ同じものにしてあるので、読み込むファイル名を正規表現で絞ってやれば今年の高専日誌の情報のみなど任意の条件からワードクラウドを生成することができます。


最後に面白いと思った結果を紹介します。

f:id:euglena1215:20171215031802p:plain 2015年の高専日誌から抽出したワードクラウド

f:id:euglena1215:20171215031816p:plain 2016年の高専日誌から抽出したワードクラウド

f:id:euglena1215:20171215031832p:plain 2017年の高専日誌から抽出したワードクラウド

 

例年高専日誌は部活動やコンテストの結果を載せることが多いので「大会」や「チーム」といった単語が多いのですが、今年は「大会」と同じくらいの文字サイズで「イベント」がありました。

これはインキュベーションワークやその他の活動によって色々なところでイベントがたくさん開催されるようになった裏付けなのではないでしょうか。

ワードクラウドを使って1年を振り返るのもなかなかいいですね。

Podcast配信機能をRailsに組み込んでみた

これは呉高専エンジニア勉強会 Advent Calendar 2017の9日目の記事です。

高専OB1年目の@euglena1215です。
今年の12月はすごい勢いで記事書いてます。

とあるラジオのサイトでPodcastを配信したくなったのでどう実現するべきなのかを考えた過程を書いていこうと思います。

コードだけ見たい人はこちら

podcastを配信する仕組みについて

AppleのQ&Aから引用させてもらうと

Can I host my podcast on Apple Podcasts?

No, Apple Podcasts does not host podcasts. You must host media files and RSS feeds on your own web servers or use a third-party host. You can then submit your podcast feed for inclusion in the iTunes Store podcast directory.

What is a podcast feed?

A podcast feed is a URL to an RSS (rich site summary) in XML format. RSS is a technology for announcing updates to a website, and XML is a format for creating content on the Internet.

To publish a podcast on Apple Podcasts, use an Apple Podcast Hosting Partner or create a website that generates a feed conforming to RSS 2.0. When you update the site that hosts your podcast, the RSS feed notifies Apple Podcasts that a new episode is available.
iTunes Connect Resources and Help

とのことです。

ざっくり説明すると Appleではホスティングはしてないよ、何らかの方法でRSSを公開してURLを登録してくれればPodcastとして登録してあげるよ。ってことですね。

ふわっと理解するにはこのページが分かりやすいです。
haruthanatos.wixsite.com

ちなみにTech系Podcastとして有名なrebuildはRSSはこんな感じです。
http://feeds.rebuild.fm/rebuildfm

調査してみる

まずPodcastを配信する方法はなにがあるのかを調べたところ以下を発見しました。

Wordpressプラグイン

wordpressでぽちぽちすればPodcast配信機能を追加できる。

参考:Podcast番組の作り方・配信方法【WordPressで30分でラジオを始める方法】 – ヒーローズジャーニー

Octopod

Octopod is a set of Jekyll templates, helpers and extensions to deliver your podcasts the cool text file lover's way.
https://github.com/pattex/octopod

設定ファイルをYAMLで書くだけでpodcastRSSと良い感じのpodcastのページが表示してくれるwebサーバを立てられる

rebuild.fm のrssには <generator>Jekyll</generator> と書かれてあるのでこれを利用しているっぽい?

dropcaster

With Dropcaster, you simply put the mp3 files into the Public folder of your Dropbox. Then run the Dropcaster script that generates the feed, writing it to a file in your Dropbox, e.g. index.rss. All mp3 files in the Public folder of your Dropbox are already accessible via HTTP, and so will the RSS file. You can then take the RSS file's URL and publish it (again, this is because any file in the Public folder of a Dropbox automatically gets a public, HTTP-accessible URL).
https://github.com/nerab/dropcaster

dropboxにmp3ファイルをアップロードして設定ファイルを作るとrssを自動生成してくれるGem 生成されたrssレンタルサーバーやS3にアップロードすればpodcastをすぐ配信できるようになる

rss(Ruby標準ライブラリ)

生成されるRSSpodcast配信に必要なnamespaceに対応していたので頑張れば書けそう

選択してみる

今回の要件としては

  1. podcastが配信できる
  2. podcast配信以外にも他の機能も組み込みやすい
  3. なるべく簡単に作れる
  4. Rails wayに外れすぎない

wordpressとoctopodはアプリケーションとして完結してしまっていて機能を組み込む余地が少ないのでパス、
dropcasterでdropboxを使わずにRSSを生成することも考えましたがコード読むより作った方が早そうだったのでRuby rssを使って実装することにしました。

設計してみる

擬似コードでやりたいことを表現したらこんな感じです。
日本語で説明するのは苦手なのでやりたいことを察してほしい。。。

# routes.rb
Rails.application.routes.draw do
  # /podcast にGETでアクセスすると
  # PodcastControllerのindexメソッドの結果を返す
  get "/podcast", to: "podcast#index"
end

# podcast_controller.rb
class PodcastController < ApplicationController
  def index
    rss = if RSSがキャッシュに存在する
            cached_rss
         else
            radios = Radio.published # 公開されているラジオ全件取得
            Podcast.Feed.new(radios).generate # podcast用RSSを文字列として出力
         end
    render xml: rss # xml形式のデータとしてrssを出力
  end
end

# radio.rb
class Radio < ApplicationRecord
  # レコードが追加/更新/削除された後実行される
  after_save :update_rss_cache

  def update_rss_cache
    # キャッシュを更新
    cached_rss = Podcast.Feed.new(radios).generate
  end
end

RSSを文字列として出力できるモジュールを実装してしまえばpodcastを配信できるイメージが湧いたので実装に移っていきます。

実装してみる

rssのドキュメントとrebuildのrssをにらめっこします。
そしてできたのが feed.rb, config.rb です。

Configにプロジェクトに依存しているデータを集め、FeedではRSSを生成する処理に専念できるようにしてます。

initializeの引数に取っているradioのschemaはこんな感じです。

# == Schema Information
#
# Table name: radios
#
#  id                     :integer          not null, primary key
#  title                  :string(255)      not null
#  description            :text(65535)      not null
#  mp3(ファイルパス)        :string(255)      not null
#  created_at             :datetime         not null
#  updated_at             :datetime         not null
#  published_at           :datetime
#  duration(再生時間[sec]) :integer          not null 
#  size(バイト数)          :integer          not null
#

複雑なことはしてないのでなんとなく処理の流れはつかめると思います。

PRはこんな感じになりました。
https://github.com/kure-kosen/cho_kure_web/pull/26

テストしてみる

いつか絶対にテストを書くという強い意志は持って日々を過ごしています。

まとめ

少しの実装でPodcast配信機能を実装することができました。
テストはきちんと書きましょう。

筑波大学に編入して半年経ったのでまとめてみる

呉高専エンジニア勉強会 Advent Calendar 2017の6日目の記事です。

高専OB1年目の@euglena1215です。
Advent Calendar 2記事目になります。全埋めの先は長そうです。

筑波大学 情報科学類へ編入して半年とちょっとが過ぎたので編入してからいままでやったことをまとめてみたいと思います。

編入体験記はこちら

euglena1215.hatenablog.jp

筑波大学について

テストについて

テストの難易度は高専のときと大差ないと思ってます。
自分は電気系科目に本当に興味がなくて大変だったのですが、 大学に編入してからは情報系の科目ばかりなので頭に入りやすくていい感じです。

高専時代の成績

1年次 17位
2~4年次 9~11位
5年次 21位

http://euglena1215.hatenablog.jp/entry/2016/07/31/065327

高専のときと同じくらい勉強すれば大丈夫ということを伝えたい

課題について

TAが課題の採点をするという制度が確立しているためか高専のときよりも課題は多いように感じます。

また、実験は選択したテーマによって重さは色々ですが基本的に高専のときよりも軽いと思います。
毎週手書きで20枚前後のレポートを作成しろとかは聞かないです。

総合大学として

高専は理系しかいない+高校1年から5年間ずっと同じクラスと良くも悪くも偏っていると思っていたので色んな人がいそうな総合大学に行くことにしました。

筑波大学は大学内ですれ違うユニークユーザー数(Daily Daigaku Surechigau Unique User)を計測すればかなり上位にランクインすると思います。
しかしそれを生かせているかといえばそうでもなく、情報系の友達(主に編入生)orサークルの友達で固まっている感があります。

ほんとアクティブな人すげえなぁって思います。

他の学類の授業を受けられる

筑波大学には他の学類の授業を取っても単位として認定される仕組みがあって、認定される単位数は学類によって定められています。

ですが

  • 情報科学類はその単位数がとても少ない(単位変換で消滅してしまった)
  • 3年次で卒業に必要な単位を取りきろうとすると時間割がほぼ埋まってしまい単位にならない科目を受講する余裕があまりない

などの理由で、他学類の授業はあまり受けてないです。。。

情報科学類について

志望するときに迷った情報科学類(coins)とメディア創成学類(mast)を比較して考えてみます。

coinsはTHE Computer Science という感じで根幹となっている基礎理論を勉強できる科目が多いです。
なので

人は向いているのかなという感じです。

 

mastはComputer Scienceもやっているものの、サービスやメディアの見せ方や作り方など使っている人や社会にどうすれば影響を与えやすいかといった内容の科目が多いと聞いています。
なので

  • サービスを作るのが好き
  • 自分の作ったものがどんな影響を与えるのか考えるのが楽しい
  • ツールをうまく使って面白いものを作りたい
  • 落合陽一大好き

人は向いているのかなという感じです。

学類の雰囲気としてはcoinsは黙々と何かしてる印象でmastはワイワイしている印象です。(mast楽しそう)
mastの方がサービスを作るのが好きな人が集まっているからか手を動かしている人が多いんじゃないかと思います。

個人的には科目内容はcoinsで正解だったと思いつつ学類の雰囲気はmastの方が楽しそうだなぁと思っています。

つくばの立地

つくばエクスプレスの終点の秋葉原までは1時間かからないくらいなので呉-広島くらいの感覚です。
行こうと思えば行けるって感じです。(交通費は呉-広島の倍くらいだけど…)

ただ、秋葉原からIT企業が多い渋谷, 目黒, 恵比寿に行くと30分くらいかかるのでちょっと遠いなと感じることは結構あります。

サークル

なにか非開発系のサークルに入りたいなぁと思っていて、新歓を回っていたいたときに楽しそうだったねっしー(自然教育研究会)に入会しました。

ねっしーとは…
筑波大学ねっしー・自然教育研究会」は、つくば近辺に住んでいる小中学生を対象に、キャンプや自然観察会などのイベントを行っている筑波大学公認サークルです。
1980年発足当時から、多くの子どもたちに参加いただき、大変好評を得ながら現在にいたっております。
現在も活発に活動しており、2、3ヶ月に1度くらいの割合でイベントを行い、子どもたちに多くのことを学び、そして楽しんでもらっています。
筑波大学ねっしー・自然教育研究会‐公式Webページ‐

最近バタバタしていて参加率があまり高くないのをなんとかしたい…
ねっしーのHPもなんとかしたいのですが、全然手が回らずという感じです。

大学外での活動

イベント参加

逆求人系面談イベント

IT系(他もあるのかも?)は自分のやってきたことをスライドにまとめ、IT企業のエンジニアや人事の人とスライドを交えながら談笑するイベントがあります。
下に書いてあるインターンもこの逆求人イベントからエントリーしました。

イベントの開催場所は東京か関西であることが多いですが、広島からだと交通費で3万円もらえたりするみたいなのでお金はあまり気にしなくていいみたいです。

売り手市場を感じますね…!!!

定番の逆求人系はジースタイラスの逆求人とサポーターズの二つだと思います。
自分はサポーターズをよく利用してました。

www.studenthunting.com

supporterz.jp

スライドとか作るのめんどくさいけどとりあえず様子を見てみたいって人は 問答無用で交通費1万円支給してもらえるギークフェスタおすすめです。

supporterz.jp

学校で{プログラミング好き && 焼肉食べたい}人をある程度集めると焼肉を食べさせてくれる人を召喚できるようになるのもアツいです。

Rubykaigi

Rubyのコミッターが世界中から集まって今後のRubyについてトークしてくれるカンファレンスが広島であったので参加してきました。

今回はRuby 3x3(Ruby version3で従来の3倍速くさせる)をどうやったら実現できるのかという話と Rubyの苦手な範囲もカバーしたい(機械学習やIoTとか)話とかが多かった気がします。 セッション中にみんながどうして笑っているのかよく分からなかったり分からなすぎて段々と眠くなってきたり 言語の壁や技術力の壁をひしひしと感じました。
来年はスタッフ側として参加しようと思ってます。

ステッカー収集が捗ります

ISUCON

ISUCONとはIikanjini Speed Up CONtest の略でwebサービスが動いているサーバが与えられ インフラ、データベース、アプリケーションなど色々な箇所に手を加えながらレスポンス速度を向上させるコンテストです。

その予選、本選(学生枠)に参加してきました。
記事にしているのでここでの内容は割愛します。

euglena1215.hatenablog.jp euglena1215.hatenablog.jp

インターン

ドリコム

1週間講義+2週間実務で合計3週間のインターンでした。

会社ブログとして書かせてもらったのでこれを参考にしてもらえればと思います。

ドリコムのインターンシップはいいぞ! - Tech Inside Drecom

エイチーム

3日間コンテスト形式のインターンで3,4人1組のグループを作ってスコアを競い合うといった内容でした。

ゲームとは
webアプリのソースと修正したい箇所がまとめられた資料(Redmine)が渡され、改修するとポイントがもらえるといったwebアプリのCTFっぽいものや
社内ツールのソースと社員からのアンケートを元に必要な機能を考えて実装し、発表する
などがありました。

使ったことのあるGemを手札に殴り合うバトルと化していましたがイベントとして楽しかったです。

株式会社エイチーム 2019卒サマーインターンシップ【受付終了】

Wantedly

実務2週間のインターンでした。

feedの一覧ページに表示される投稿のアルゴリズムを追加
アクセスログをBig Queryで整形して次の施策を考える
などをしていました。

Wantedly Summer Internship 2017 - X YOU | 2017年度サマーインターンの募集が始まりました!

現在も週1で通わせてもらっています。

その他

今年編入した情報系3編生をメインに構成された yakiniku-lovers
今年明石高専からmastに編入してきた@at_sushi_atが元々やっていたグループ Cyder
インターンの感想(愚痴も含む)を赤裸々に話せるサービス ittern(未リリース)
とあるラジオポータルサイト cho_kure_web
ActiveRecordっぽいO/Rマッパーの再実装 my_active_record

とか何か作ってます。(この辺は書くと長くなりそうなので割愛します)

 


 

こんな感じで楽しくやってます。

ISUCON7本選に参加して何もできませんでした

呉高専エンジニア勉強会 Advent Calendar 2017 の3日目の記事です。

こんにちは。
今年の3月に呉高専を卒業して筑波大学に編入した@euglena1215です。

高専アドベントカレンダーが始まったみたいなので頑張って全部埋めようと思ってます。

f:id:euglena1215:20171202041006j:plain
よく見たらISUCON8だった。謎だ...

そもそもISUCONとは

isucon.net

ISUCONとはIikanjini Speed Up CONtest の略でwebサービスが動いているサーバが与えられ インフラ、データベース、アプリケーションなど色々な箇所に手を加えながらレスポンス速度を向上させるコンテストです。

このあたりを読むとISUCONがどんなものなのかざっくりと分かると思います。
インターン生向けのISUCON CM - Qiita

個人的に感じる面白さは

  • 普段webアプリケーションを作る上ではそこまで気にしてないところまで知る良い機会になる
  • パフォーマンスがスコアとして表示されるのでゲームとして楽しい
  • web系企業のリードエンジニアと呼ばれる人がたくさん参加しているので凄さを肌で実感できる

あたりだと思っています。

興味をもった呉高専生がいたら自分に声かけてください! なんかします!

Advent Calendarっぽい内容はこれで終わりで以降は普通のISUCON本選エントリです。


ISUCON7本選に参加して何もできませんでした

先週の土曜日に開催されたISUCON7本選に学生枠として参加してきました。

チーム名は「なにもしちょらんのに壊れた」です。
一緒に参加したのは予選と同じく@k5342@chigichan24の強い編入生達です。

f:id:euglena1215:20171202041938j:plain

マイメロディのパチモンも一緒に参加しました。
(chigichan24がICPCアジア大会に行ったときに買ってきたやつ)

 

予選のエントリはこちら euglena1215.hatenablog.jp

 

メンバーの本選エントリはこちら chigichan24.hatenablog.com blog.ksswre.net

前日

予選ではオンメモリする気満々で突撃して失敗したので 本選ではレギュレーションをしっかり読もうとかN+1をまず潰そうとか当たり前のことをちゃんとやろうと話をしました。

つくばから新宿に9時はつらいと思ったので自分と同じように編入した@planetary3gearの家に泊まらせてもらいました。ありがたい。

当日

コンテストが始まる前はtrelloの予選ボードにあるカードを本選ボードに移し戦いに備えました。

今回はwebsocketを使った多人数で行えるクッキークリッカー(のようなもの)でした。
レギュレーションには今回のスコアの算出はHTTPリクエストによるものではなく クッキークリッカーの操作の回数と書いてあってふむふむと思いながら読みました。

やったこと

  • DBのschema, SELECT * FROM hoge LIMIT 5 のようなレコードのプレビューをSlackに貼った

  • 定番プロファイリング系ツールのmyprofiler, kataribe, rack-lineprofを入れた
    myprofilerで見たところ、room_timeのtimeにindexを貼ったくらいであとは特にすることがなかった。
    今回はwebsocketがメインだったのでアクセスログはほぼ出力されていなかったのでkataribeは使えなかった。
    rack-lineprofではcalc_statusの後半部が圧倒的に遅いということがわかった。

  • m_itemsテーブルのレコードがアプリケーション内で変更がないことが分かったのでグローバル変数化した。
    が、擬似production環境での動作は確認したがベンチが通らなかったので放置した。
    m_itemsをグローバル変数にしてみた by euglena1215 · Pull Request #5 · k5342/isucon7-final · GitHub

  • calc_statusで毎回全てを計算し直していたので確実にこれが原因だよねという話になり、状態をグローバル変数で持ち毎回差分のみを計算すればいいように変更しようとした。
    が、全てを一度に修正しようとして頭がパンクしてしまい全然終わらなかった。

  • calc_statusを半分諦めた状態で他のところを見ていると、Concurrent::Channel.ticker(0.5) となっている箇所を発見した。
    レギュレーションでは「クッキークリッカーの操作を行ってから1秒以内に操作が反映されること」と書いてあった気がした(予選でも謎のsleep(1)があったのでそーいう系かと思った)ので0.8秒に伸ばしベンチをかけてみたがあまり変化は見られなかった。
    えいやっと0.5秒 -> 10秒とかに変えてみてもfailせずスコアが下がるだけだったので???となり放置した。
    Tickerの時間をいじってみた by euglena1215 · Pull Request #9 · k5342/isucon7-final · GitHub

  • 上の変更がうまくいかなかったので逆にループ回数を減らせるのではないかと思い1000 -> 500にしてみたがfailするようになりダメだったので放置した。
    tickerの時間にあわせてループ回数を変更してみた by euglena1215 · Pull Request #10 · k5342/isucon7-final · GitHub

  • 残り時間も少なくなり何をすればいいのか分からなくなったのでとりあえずベンチをEnqueueする機械と化していた。

f:id:euglena1215:20171202044127p:plain

結果としては19位となり、下から2番目で本選出場が決まったわりには悪くない?結果でした。
(初期スコアが6000前後だったので1,2つ変更が効いたくらいのスコア?)

ただ個人では スコアには何も貢献できませんでした。

予選もほぼ貢献できなかったのでメンバーには申し訳ねぇという気持ちとありがてぇという気持ちがフルスロットルです。。。

反省

  • 実装力が低い
    コンテスト後の講評ではcalc_statusの変更はまぁ終わるよね、という感じで実際ある程度のスコアを出しているチームはcalc_statusの修正はきちんと終えているようでした。
    一方自分は一度に全部修正しようとして頭がパンクしてわちゃわちゃしてバグ連発みたいな感じだったので実装力がまだまだ足りてないなぁと思いました。

  • 問題を段階的に解決できなかった
    calc_statusで問題を一度に解決しようとして分からなくなっていました。
    終わってから考えてみると、シミュレーションしている処理と今までのを計算している処理でfor文を分離させるなど段階的に修正を加えることは可能だったことに気づき問題を段階的に解決することが全然習慣になってないなぁと思いました。
    また、他のエントリを見ていると処理をループの外に出すなど簡単に高速化を図れる部分もあったみたいで問題への見方が偏っていたんだなと感じました。

問題に対して

nginxやDBの設定周りのチューニングはなかったものの、デカいメソッドが1つあってそいつが重すぎて話にならないといったケースは現実世界によくありそうで良い問題だったなぁと思いました。
(まずオンメモリにするところから始まるといった想定解答はどうなんだろうという気はしますが…)

来年が学生枠で出場できる最後のチャンスっぽいので頑張ろうと思います。
できれば来年も同じメンバーで出たいな。。。

ISUCON7予選に参加しました

ISUCON7予選に参加しました。

その前にきちんと投票しました。
チャリで行ったので雨が目に染みてつらかった。

最終スコアは40088点で学生枠で本選に出場することができました。

github.com

github.com

の強い編入生2人と一緒に参加した。

アプリケーション改修担当として参加した。
バグ取りが終わらなかったためスコアに反映させることができなかった...悔しい。
一緒に参加した2人が優秀で良かった...

やったこと

セットアップ

  • show create table hoge; をslackで共有
  • SELECT * FROM hoge LIMIT 10; をslackで共有
  • myprofilerを入れる
    • myprofiler -user=rootmysqlに繋げなかったので困った。
  • kataribeを入れる
  • rack-lineprofを入れる

ほぼコピペのセットアップを終わった時点で1時間くらい経っていた。

アプリケーション改修

  • まずmyprofilerでスロークエリを探してみたものの、何も表示されなかったのでそんなもんなのかーと思いrack-lineprofで遅い行を探す。

    • GET /fetch が遅かったが、レギュレーションでスコア計算に入らないと書いてあったため無視。
    • その次にGET /messageが重そうだった&N+1があったのでこの辺を改修することに決めた。
  • 練習での経験*1よりmessageを全部redisに載せてみる作戦をとってみることに
    (これが完全に判断ミスだった)


他のメンバーはアプリケーションをごにょごにょしている間にiconを304で返せるようにほげほげしてくれていた。

詳しくはこちら

blog.ksswre.net

chigichan24.hatenablog.com

反省点

  • 影響範囲を考えて手をつけていなかった
    • 変更しながら後悔する羽目になった
    • channelごとのmessage数のカウンタをredisで実装とかは影響範囲が小さくある程度の効果が見込めたはず
  • N+1をきちんと潰してなかった
    • こちらの方が優先度は高いはず
  • そもそもredisに慣れていなくて時間がかかった
    • 鍛錬します

①N+1を潰す
②影響範囲の小さいところからredisに載せていく
の2つを確実にこなせるように本選まで練習したいと思う。

*1:pixiv isucon, ishocon1, isucon4でオンメモリ化させる判断がつかず点数が上がらなかった

ActiveRecordっぽいO/Rマッパーを作ってみた

github.com

ActiveRecordっぽいものを一度実装してみて本物と実装方法の違いを眺めるのが勉強になりそうだと思ったのでとりあえず作ってみました。

ついでにSQLite3のC言語APIRubyで実行できるようにする拡張ライブラリsqlite3_coreも作りました。

※記事中では読みやすさのために例外処理は省いています。


実装したのは以下のメソッドになります。

  • set_database(db_path, type)
    どの種類(type)のどこに保存されている(db_path)DBを利用するのか設定する。
  • TableClass.new(attribute)
    レコードオブジェクトを生成する。
  • TableClass#{column名}
    レコードオブジェクトのカラムデータを参照する。
  • TableClass#{column名}=
    レコードオブジェクトのカラムデータに書き込む。
  • TableClass.where(condition)
    conditionに合致するTableのレコードオブジェクトを全件取得する。
  • TableClass.all
    Tableのレコードオブジェクトを全件取得する。
  • TableClass.find(id)
    同一のidをもつTableのレコードオブジェクトを1件取得する。
  • TableClass#save
    レコードオブジェクトの情報をDBに保存する。
  • TableClass#update(attribute)
    レコードオブジェクトの更新をDBに反映させる。
  • TableClass#destroy
    レコードオブジェクトをDBから削除する。
  • TableClass.belongs_to(table)
    Tableがtableに所属しているリレーションをTableClassに反映させる。
  • TableClass.has_many(tables)
    Tableは複数のtableを所持しているリレーションをTableClassに反映させる。

 


それではひとつずつ見ていきます。

set_database(db_path, type)

どの種類(type)のどこに保存されている(db_path)DBを利用するのか設定する。

def set_database(db_path, type)
  $db = Object.const_get(type.to_s.capitalize).new(db_path)
end
  • DBの情報をグローバル変数として持たせることにしました。
  • type: :sqlite3のときはSqlite3.new(db_path)を実行するという単純な仕組みにしました。
irb(main):003:0> set_database('./db_test.sqlite3', :sqlite3)
=> #<Sqlite3:0x00007f86858fdc08 @db=#<Sqlite3Core:0x00007f86858fdbe0>>

 

TableClass.new(attribute)

レコードオブジェクトを生成する。

def initialize(args = {})
      @table_schema = $db.table_schema(self.class.table_name)

      define_column_name
      
      store_record_to(args)

      define_accessor_belongs_to
      define_accessor_has_many
  end

# レコードオブジェクトにnewの引数の値を格納
def store_record_to(info)
  @table_schema.keys.each do |column|
    if info.has_key?(column)
      instance_eval "@#{column} = #{info[column].inspect}"
    else
      instance_eval "@#{column} = nil"
    end
  end
end
  • instance_evalでレコードオブジェクトに初期値を与えるようにしました。
  • 引数infoでeachを回すのではなくテーブルのカラム名でeachを回しているので存在しない引数を受け取ると無視してくれます。
  • define_column_name, define_accessor_belongs_to, define_accessor_has_manyは後ほど説明します。
irb(main):007:0> User.new
=> #<User:0x00007f8a2316bdb8 @table_schema={:id=>:integer, :name=>:text, :age=>:integer}, @id=nil, @name=nil, @age=nil>

irb(main):008:0> User.new(id:1, name: 'name01', age:20)
=> #<User:0x00007f8a24872ea8 @table_schema={:id=>:integer, :name=>:text, :age=>:integer}, @id=1, @name="name01", @age=20>

irb(main):021:0> User.new(id: 5, name: 'name05', height: 174, weight: 56)
=> #<User:0x00007f868582c428 @table_schema={:id=>:integer, :name=>:text, :age=>:integer}, @id=5, @name="name05", @age=nil>

 

TableClass#{column名} / TableClass#{column名}=

レコードオブジェクトのカラムデータを参照/書き込みをする。

def define_column_name
  @table_schema.keys.each do |column|
    self.class.class_eval "attr_accessor :#{column}"
  end
end
  • attr_accessorで定義しました。
irb(main):009:0> user = User.new
=> #<User:0x00007f8a23124418 @table_schema={:id=>:integer, :name=>:text, :age=>:integer}, @id=nil, @name=nil, @age=nil>

irb(main):010:0> user.id = 1
=> 1

irb(main):011:0> user.id
=> 1

irb(main):012:0> user.name = 'name01'
=> "name01"

irb(main):013:0> user.name
=> "name01"

irb(main):014:0> user.age = 20
=> 20

irb(main):015:0> user.age
=> 20

irb(main):016:0> user
=> #<User:0x00007f8a23124418 @table_schema={:id=>:integer, :name=>:text, :age=>:integer}, @id=1, @name="name01", @age=20>

 

TableClass.where(condition)

conditionに合致するTableのレコードオブジェクトを全件取得する。

def where(condition)
    objects = []
    
    if condition == :all
      condition = nil
    end

    records = $db.select(table_name, condition)
    records.each do |record|
      objects << self.new(record)
    end
    objects
end
  • selectで取得した内容を引数にTableClass.newして配列に格納しました。
rb(main):019:0> User.where(age: 20)
=> [#<User:0x00007f8a23160828 @table_schema={:id=>:integer, :name=>:text, :age=>:integer}, @id=1, @name="aaa", @age=20>, 
#<User:0x00007f8a24888398 @table_schema={:id=>:integer, :name=>:text, :age=>:integer}, @id=2, @name="bbb", @age=20>, 
#<User:0x00007f8a23139390 @table_schema={:id=>:integer, :name=>:text, :age=>:integer}, @id=3, @name="ccc", @age=20>]

irb(main):020:0> User.where(age: 20, name: ['aaa', 'bbb'])
=> [#<User:0x00007f8a2310d740 @table_schema={:id=>:integer, :name=>:text, :age=>:integer}, @id=1, @name="aaa", @age=20>, 
#<User:0x00007f8a230f50a0 @table_schema={:id=>:integer, :name=>:text, :age=>:integer}, @id=2, @name="bbb", @age=20>]

 

TableClass.all

Tableのレコードオブジェクトを全件取得する。

def all
  where(:all)
end
  • TableClass.where(condition)を使いました。
irb(main):017:0> User.all
=> [#<User:0x00007f8a2484a048 @table_schema={:id=>:integer, :name=>:text, :age=>:integer}, @id=1, @name="aaa", @age=20>, 
#<User:0x00007f8a24822c00 @table_schema={:id=>:integer, :name=>:text, :age=>:integer}, @id=2, @name="bbb", @age=20>, 
#<User:0x00007f8a2301fea0 @table_schema={:id=>:integer, :name=>:text, :age=>:integer}, @id=3, @name="ccc", @age=20>, 
#<User:0x00007f8a23818ff8 @table_schema={:id=>:integer, :name=>:text, :age=>:integer}, @id=4, @name="ddd", @age=25>]

 

TableClass.find(id)

同一のidをもつTableのレコードオブジェクトを1件取得する。

def find(id)
  hash = $db.select(table_name, { id: id })
  return nil if hash.empty?

  self.new(hash[0])
end
  • そのままです。
irb(main):018:0> User.find(1)
=> #<User:0x00007f8a230446b0 @table_schema={:id=>:integer, :name=>:text, :age=>:integer}, @id=1, @name="aaa", @age=20>

 

TableClass#save

レコードオブジェクトの情報をDBに保存する。

def save
  $db.insert(self.class.table_name, self.to_attr)
end
  • これもそのままです。
irb(main):021:0> User.find(5)
=> nil

irb(main):022:0> user = User.new(id: 5, name: 'name05', age: 100)
=> #<User:0x00007f8a230bf180 @table_schema={:id=>:integer, :name=>:text, :age=>:integer}, @id=5, @name="name05", @age=100>

irb(main):023:0> user.save
=> true

irb(main):024:0> User.find(5)
=> #<User:0x00007f8a238320e8 @table_schema={:id=>:integer, :name=>:text, :age=>:integer}, @id=5, @name="name05", @age=100>

 

TableClass#update(attribute)

レコードオブジェクトの更新をDBに反映させる。

def update(attribute)
    if $db.update(self.class.table_name, attribute, self.id)
      @table_schema.keys.each do |column|
        if attribute.has_key?(column)
          instance_eval "@#{column} = #{attribute[column].inspect}"
        end
      end

      return true
    end

    false
  end
  • $db.updateでDBを更新した後instance_evalでレコードオブジェクト自身も更新しています。
irb(main):028:0> user = User.find(1)
=> #<User:0x00007f8a2483aad0 @table_schema={:id=>:integer, :name=>:text, :age=>:integer}, @id=1, @name="aaa", @age=20>

irb(main):029:0> user.update(age: 500000000)
=> true

irb(main):030:0> User.find(1)
=> #<User:0x00007f8a230f4178 @table_schema={:id=>:integer, :name=>:text, :age=>:integer}, @id=1, @name="aaa", @age=500000000>

 

TableClass#destroy

レコードオブジェクトをDBから削除する。

def destroy
  $db.delete(self.class.table_name, self.id)
end
  • そのままです
irb(main):009:0> user = User.find(3)
=> #<User:0x00007f868598cc00 @table_schema={:id=>:integer, :name=>:text, :age=>:integer}, @id=3, @name="ccc", @age=20>

irb(main):010:0> user.destroy
=> true

irb(main):011:0> User.find(3)
=> nil

 

TableClass.belongs_to(table)

Tableがtableに所属しているリレーションをTableClassに反映させる。

def belongs_to(table)
  if $db.table_schema(table_name).keys.include?("#{table}_id".to_sym)
    @@belongs_to_tables << table
  end
end

def define_accessor_belongs_to
  @@belongs_to_tables.each do |belongs_to_table|
    instance_eval <<~EOS
      def #{belongs_to_table}
        if @#{belongs_to_table}_id.nil?
          nil
        else
          Object.const_get('#{belongs_to_table}'.capitalize).find @#{belongs_to_table}_id
        end
      end
    EOS
  end
end
  • define_accessor_belongs_toTableClass.new内で実行されます。
  • クラス変数@@belongs_to_tablesにbelongs_toしたいテーブルをためておいてnew時にinstance_evalでメソッドを定義してます。
# post.rb
class Post < NonActiveRecord
  belongs_to :user
end

irb(main):019:0> post = Post.find(1)
=> #<Post:0x00007f86859363a0 @table_schema={:id=>:integer, :title=>:text, :content=>:text, :user_id=>:integer}, @id=1, @title="title1", @content="content1", @user_id=1>

irb(main):020:0> post.user
=> #<User:0x00007f86858fc0d8 @table_schema={:id=>:integer, :name=>:text, :age=>:integer}, @id=1, @name="aaa", @age=20>

 

TableClass.has_many(tables)

Tableは複数のtableを所持しているリレーションをTableClassに反映させる。

def has_many(tables)
  if $db.table_schema(tables.to_s).keys.include?("#{self.to_s.downcase}_id".to_sym)
    @@has_many_tables << tables
  end
end

def define_accessor_has_many
  @@has_many_tables.each do |has_many_table| 
    instance_eval <<~EOS
      def #{has_many_table}
        Object.const_get(self.class.singularize('#{has_many_table}').capitalize).where(#{self.class.to_s.downcase}_id: self.id)
      end
    EOS
  end
end
  • だいたいbelongs_toと同じで定義されるメソッドの内容が違うだけです。
# user.rb
class User < NonActiveRecord
  has_many :posts
end

irb(main):015:0> user = User.find(1)
=> #<User:0x00007f868580eec8 @table_schema={:id=>:integer, :name=>:text, :age=>:integer}, @id=1, @name="aaa", @age=20>

irb(main):016:0> user.posts
=> [#<Post:0x00007f86859c6ce8 @table_schema={:id=>:integer, :title=>:text, :content=>:text, :user_id=>:integer}, @id=1, @title="title1", @content="content1", @user_id=1>, 
#<Post:0x00007f86859aef58 @table_schema={:id=>:integer, :title=>:text, :content=>:text, :user_id=>:integer}, @id=2, @title="title2", @content="content2", @user_id=1>]

 


 

感想

  • 今回実装した処理と本家の処理を見比べてどこが違うのかを調べていきたいと思った。
  • 本家のwhere句はメソッドチェインすると適切なSQL文が発行されるが、どう考えても謎なのでソースを漁ろうと思う。

【大学編入】Not情報系から情報系に編入が決まって不安な人がやっておくといいこと

Not情報系から情報系に編入が決まった方、おめでとうございます。
高専では情報系の科目が全然なかったけど本当にやっていけるんだろうか…と不安に思っている人はちょこちょこいると思います。

自分もそうだったので編入する前にこんなことをやっておくと(授業レベルでは)全然不安に思うことはないよってのを挙げてみたいと思います。 この分野が足りてないってのがあればコメントをもらえると助かります。

 

ブログを持つ

初めの記事は編入体験記とかでいいのでとりあえず技術系記事を書く媒体を持っておく。
以下の内容をやってみて「ここ面白いな」とか「ここもうちょっと深掘りしてみたいな」と思った内容を記事にまとめてみるのが良いと思います。

 

コンピュータシステムの理論と実装をやってみる

コンピュータシステムの理論と実装 ―モダンなコンピュータの作り方

コンピュータシステムの理論と実装 ―モダンなコンピュータの作り方

NAND素子からテトリスのようなアプリケーションが動く環境を作るをコンセプトに書かれている本です。
全てシミュレータ上で行えるのとTDDで作っていけるので独学しやすいと思います。

以下が気になる人におすすめです。

  • 論理回路は勉強したけど、論理回路とコンピュータが頭の中で繋がっていない
  • なんでアセンブラで書いた処理を正しくコンピュータが行ってくれるんだろう
  • 結局コンパイルってどんな処理が行われているんだろう

 

この解答を一通りまとめてみる

www.wantedly.com

webに関する情報科学の基礎知識がまとまっています。

何かのアプリケーションは作ったことあるけど何がどうなって動いてるのかよくわかってないって人におすすめです。

 

関数型言語に触れてみる

だいたいの大学で関数型言語を扱う授業はあるように思います。(プログラム言語論とか)
あらかじめ触れて概念や構文を理解しておくと授業を楽に理解できるようになると思います。
ちなみに筑波大学情報科学類はOCamlです。

 

(おまけ) 好きな言語をもっておく

編入してから確実に一度は好きな言語を聞かれるので好きな言語がない人は色々触って見つけておくといいかも。
その言語のパーフェクトシリーズやオライリーなどを1冊やっていると好きな言語が同じ人に会ったときに盛り上がれて良いと思います。