データ分析基盤開発のスペシャリスト、データエンジニアになろう！
皆さん、データエンジニアという職種、ご存知ですか？ ITエンジニアと一括に言っても、Webエンジニア、社内システムエンジニア、インフラエンジニア、機械学習エンジニアなど、様々な肩書があると思います。 データエンジニアとは、一言で言うと、社内のデータ分析基盤を開発・運用するエンジニアです！...
View Articleはてなブログの編集画面とプレビュー画面を横並びにする方法【コピペでOK】
はてなブログで記事を執筆する時、編集画面上でMarkdownやはてな記法で記述して、プレビューで確認しながら執筆していくと思います。 プレビュー画面には、別画面で表示できる通常の「プレビュー」と、横並びで表示できる「リアムタイムプレビュー」の２種類があります。 しかし、このプレビュー機能、それぞれ良いところもあれば、イマイチなところもあります。 項目 プレビュー リアルタイムプレビュー 表示...
View Article【Python入門】コメントとdocstring
本日はPython入門記事です。 本日のテーマはこちら！ Pythonのコメントとdocstringを理解する Pythonのコメントの書き方 ダブルクォーテーション3つはコメント？ docstringとは docstringの書き方 docstringをVSCodeで書くなら拡張機能「Python Docstring Generator」がおすすめ！ docstringとコードスニペット まとめ...
View Article【BigQuery演習】JSON文字列をSQLで展開してみよう！【JSON関数】
おはようございます。本日のBigQuery演習のテーマはこちら！ JSON文字列をSQLで展開してみよう！ BigQueryはJSONをテーブルにロードする機能がありますが、JSONを文字列としてロードして、SQLで加工することもできます！ 例えば以下のようなJSON文字列のデータがあった時、SQLで加工して人が扱える形にできると便利ですよね。 今日はBigQueryのJSON関数を使った問題です！...
View Article【Google Cloud Functions】Pythonでサーバレスサービスに入門してみる【FaaS】
プログラムを外部に公開する時、必ず必要なものって何でしょうか？ そう、実行環境、つまりはサーバーです！ しかし、サーバを用意しなくてもプログラムを実行する環境を、GCPやAWSなどのパブリッククラウドサービスは提供してくれます。それがサーバレスサービスです。 サーバレスで関数を単体で実行できるサービスなので、Function as a Service、略してFaaSとも呼ばれます。...
View Article【Cloud Functions】Cloud Schedulerを使って、サーバレス関数をスケジュール実行する【FaaS】
おはようございます！今回は前回に引き続き、GCPのサーバレスサービスCloud Functionsを使って生きます！ www.true-fly.com 前回はHTTPリクエストで呼び出す方法についてご紹介しましたが、今回のテーマはこちら！ GCPのサーバレスサービス、Google Cloud FunctionsをCloud Schedulerでスケジュール実行してみよう！ 今回はCloud...
View ArticleはてなブログにVue.jsコンポーネントを導入してHTMLを簡略化しよう！
はてなブログ、HTML、CSS,JavaScriptをブログ全体に追加できたりと、ある程度揃っているブログサービスなのに、カスタマイズできるところもたくさんあって便利ですよね！ 今回は、そんなはてなブログに、Vue.jsを導入してみたので、その手順についてご紹介します！ 今回のテーマはこちら！ はてなブログにVue.jsを導入して、コンポーネントを作成しよう！...
View Articleプログラミング初心者はPythonを学習するのがおすすめな理由
よくプログラミング言語の人気ランキングや求人数、年収、学びたいランキングなどで、Pythonが上位に来ている昨今ですが、こう思ったことはありませんか？ Pythonって難しくないの？？ 特にこれからプログラミングを学習する人にとって、データ分析にも使える、Webにも使える、稼げる言語って、ハードル高いと感じませんか？...
View Articleデータエンジニアなら知っておきたい、NoSQLってなに？
今日はRDBと違うデータベース、「NoSQL」についてご紹介します。 データベースというと、OracleやMySQLといったリレーショナルデータベース（RDB）を思い浮かべると思います。 NoSQLとは、「RDBでないデータベース」のことです。 RDBばかり触っている方には馴染みがないかもしれません。...
View Article【超入門】GCPのNoSQL、Cloud Firestoreを使ってみる
前回の記事で、NoSQLについてご紹介しました。 www.true-fly.com 今日はその中でも、ドキュメント指向データベースである、GCPのCloud Firestoreについてご紹介します！ GCPのNoSQL、Cloud Firestoreを使ってみよう！ GCPにもBigTableやCloudSQL、Cloud Spannerといったデータストアがありますが、Cloud...
View Article【超入門】Cloud FirestoreをPythonで操作する
前回はGCPのNoSQLサービス、Cloud Firestoreの使い始め、GUIでの操作方法をについてご紹介しました。 www.true-fly.com 本日のテーマはこちら！ GCPのNoSQLサービス、Cloud FirestoreをPythonで操作してみよう 今回はプログラムからCloud...
View ArticleFont Awesomeで自分のWebアプリケーションにイラストやアイコンを導入する
エンジニアがブログだったりWebアプリケーションを作っていると、どうしてもできないものが１つ出てきます。 デザインです。 ということで、今日のテーマはこちら！ Font Awesomeで自分のWebアプリケーションにイラストやアイコンを導入してみよう！...
View ArticleCloud Functionsで処理したデータをCloud Firestoreに保存する
おはようございます、今日はGCPのサーバレスサービス、Cloud Functionsと、NoSQLサーバレス、Cloud Firestoreを用いたアプリケーションを作ってみます。 Cloud Functions、Cloud Firestoreについてはそれぞれ以下の記事でもどうぞ。 www.true-fly.com www.true-fly.com 今回のテーマはこちら！ Cloud...
View Article「キミ、意味多すぎない？」って思うエンジニア用語4選
エンジニアとして働いていると、「キミ、意味多すぎない？」という単語といくつか遭遇します。 そういった言葉は業務中の会話に頻繁に出現します。 しかし、会話の中でふと思うことがあります。 「あれ？ 私が思っている単語の意味とちょっと違くない？」 そう、同じIT用語だとしても、文脈や製品、分野によって意味が異なってくる単語があるのです。 インターフェース JavaやC#などにおけるインターフェース...
View ArticleぼっちSlackはじめました
お久しぶりです、とりゅふです。少し間が空いてしまいましたが、お元気ですか？ 今日は個人の開発プロジェクトに、超定番コミュニケーションツール、Slackを導入してみようと思います。 Slackといえば、チームでコミュニケーションを図るためのツールですが、APIや連携アプリが充実していたり、メモ代わりに利用できたり、PCやスマホで利用できたりといろいろ便利です。...
View Article【Python入門】Pythonのロギングと真剣に向き合う
こんにちは、将来の夢が最近「ログハウスのサウナ小屋を建てたい」に変わった、とりゅふです。 logという単語は、「丸太」という意味なのですが、ITの世界では、情報の履歴、記録といった意味を持ちます。 blogもweb logの略です。...
View ArticleVSCodeの拡張機能「Visual-BigQuery」を公開しました
かねてより自作していたVisual Studio Code(VSCode)の拡張機能をマーケットプレイスに公開しました！ marketplace.visualstudio.com 「Visual-BigQuery」という名前で、BigQuery SQLのシンタックスハイライト、オートコンプリートなどの言語サポート機能を作りました。...
View Article【2022年版】VSCode + Dockerで最強のPython開発環境を構築する【Remote Development】
こんにちは、2021年もあっというまに年の瀬、師走真っ只中ですね。 今回はPython開発環境構築のお話です。 以前Windowsで最強のPython開発環境をご紹介しました。 www.true-fly.com この環境を用いれば、 1つの端末で複数のプロジェクトを独立した開発環境で開発できるようにする 面倒な環境構築を手順化し、チームメンバーに共有できるようになる といったメリットを得られます。...
View Article2021年の個人的振り返りと2022年の目標！
こんにちは！2021年最後の投稿になりました。本ブログをご愛読してくださるすべての方々に感謝の1年でした。 そんな色々あったようで色々なかった2021年、最後は今年の自分の振り返りをして納めたいと思います。 2021年の振り返り ブログを本格的に始めた VSCode拡張機能を作れるようになった TypeScriptを触ってみた GCPのネットワークに詳しくなった ゲーミングチェアを自宅に導入した...
View ArticleChrome拡張機能開発に入門する①ポップアップアプリケーションを作成しよう
こんにちは、最近暇なときにツール作成にはまってます、とりゅふです。 PCとにらめっこしてるとき、一番開くアプリケーションってなんでしょう？ VSCode？エクスプローラー？いえ、ブラウザ、Google Chromeです！ つまり、Google Chromeで動くツールこそ至高、Chrome拡張機能こそが至高なのです！ ということで、本日のテーマはこちら！ HTML +...
View ArticleChrome拡張機能開発に入門する②オプション画面を作成しよう
こんにちは、前回はchrome拡張機能のポップアップアプリケーションを作成する記事をご紹介しました。 拡張機能アイコンをクリックすると画面が立ち上がり、情報を入力すると、Trello APIでTrelloにデータが保存される機能です。 www.true-fly.com しかし、前回紹介したソースは、API...
View Article【GCP超入門】超小規模Webアプリこそ、Google App Engineを使え！
超小規模Webアプリこそ、Google App Engineを使え！ 世の中にはWebアプリケーションを公開する手段はたくさんあります。 GCP、AWSなどのパブリッククラウド、自社サーバやレンタルサーバでの構築などなど……。 さらのGCP一つをとっても、 Compute Engine App Engine Kubernetes Engine Cloud Run など、たくさん挙げられます。...
View Article【GCP入門】GCPサービスアカウントを発行する【認証・権限設定もしよう】
本ブログでは、GCPの各プロダクトや、Googleが提供する各種サービスを利用した記事をたくさん公開しています。 これらのサービスはそれぞれAPIを提供しており、Web上で利用しているサービスをPythonなどのプログラムで実行することができます。...
View Article【Google Cloud】アーキテクチャダイヤグラムツールを使ってみた
先週Google Cloudのブログで、Google Cloud公式のアーキテクチャダイヤグラムツールが紹介されていたので使ってみました。 cloud.google.com 今までは下記ページからGoogleスライドやDraw.ioのアイコンセットをコピーして作成していたのですが、今回はGoogle Cloud専用のものができたということで、もしかしたら今後はこちらが主流になるかもしれません。...
View Article【Python入門】エラー時の自動リトライの仕組みを実装する
よくプログラムから外部のAPIにリクエストを投げるときに、たまにの接続エラーだったり、Timeoutだったりで、正常なレスポンスが返ってこないことがあります。 でも偶発的なエラーであれば、時間を空けて再試行することで正常な結果が得られることがあります。 私も新人のときに、少なくとも外部に通信をするときは、自動リトライの仕組みを設けようと教わりました。 ということで、今日のテーマはこちら！...
View ArticleTypeScriptはじめました
皆さん、JavaScriptはお好きですか？僕は苦手です。 なので僕ははじめました、TypeScriptを。 TypeScriptはGoogleが2017年に社内の標準言語の一つとしていると公言しています。なら学ぶしかないでしょう。TypeScriptを。 www.publickey1.jp そもそもTypeScriptってなに？ JavaScriptとの違い メリット デメリット...
View Article【TypeScript超入門】TypeScript + webpackでWebアプリケーション開発環境を構築する
こんにちは、今回はTypeScript + webpackでWebアプリケーション開発環境を構築する方法についてご紹介します。 Typescriptとは何かについては前回の記事でご紹介しているのでご覧ください。 www.true-fly.com 今回はnpmプロジェクトの作成からTypeScript + webpackの開発環境構築までを順を追ってご紹介します。...
View ArticlePythonでGoogle Search ConsoleのデータをBigQueryにロードする
こんにちは、今日は、Pythonを使って、Google Search ConsoleのデータをBigQueryにロードする方法についてまとめました。 当ブログの運用でもGoogle Search Consoleを利用しており、本格的に運用を始めてから半年以上が経過したので、普段良く使うBigQueryとSQLを用いて集計をしたいと思い、BigQueryへの連携の自動化を目指し実装しました。...
View ArticleCloud FunctionsでGoogle Search Consoleのデータ収集を完全自動化する
こんにちは、前回はPythonでGoogleサーチコンソールのデータをBigQueryへロードする方法についてご紹介しました。 www.true-fly.com 前回はPythonのプログラムをローカルで実行していましたが、 今回はGCPの各サービスを利用して、日時で自動でデータのロードを行う方法についてご紹介します！ 今回作るもの search-consoleサービスアカウント Cloud...
View Article【Python入門】PythonでWeb APIをサクッと作成してみる
こんにちは、今回はPythonのWebフレームワークFlaskを用いて、Web APIを作成する方法についてご紹介します。 Flaskは軽量Webフレームワークで、Pythonで人気のWebフレームワーク、Djangoほど多機能ではありませんが、さくっとAPIを作成できるので、私のような非Webエンジニアでも重宝しています。 今回は、このFlaskを用いて、わずか十数分でWeb...
View Article