kazu22002の技術覚書

PHPer, Golang, AWS エンジニアの日々

golangでweb死活監視

webの死活監視が必要になったので、lambdaでどう作るか知り合いに相談したらgolangで作ったとのことで調べてやってみました。 通知はslackへ通知するようにします。 web監視 参考 qiita.com var ( IncomingUrl string = "https://hooks.slack.com/services/x…

Serverless Frameworkコマンドでlambdaにリリース

awsのlambdaを便利に使いたいため、Serverless Frameworkを試してみました。 www.serverless.com install npm install -g serverless プロジェクト作成 sls create --template aws-go-mod --path project 実行できるか確認 cd project make build エラー go:…

GCPのCloud Vision APIを利用してOCRを使い、画像の位置から文字列を取得

Cloud Vision APIを利用してOCRを使ってみました。日本語でもかなりの精度に驚いています。 ただし文章とみなされる部分に関しては文字列として判断されますが、空白が空いていたりすると文章として取得できないケースもあります。 そんな時には位置情報から…

GCPのCloud Vision APIでOCRを試す

OCR(文字認識)をやろうとして調べたところ、日本語に対応できているGCPを試してみました。 参考記事 cloud.google.com GCPのアカウントはある前提で書いています。今回はCloud Vision APIを使用しています。コードはpythonです。 サービスの有効化 参考記…

python + opencvでカード認識 精度向上

前回までの記事でカード認識した部分のみの画像を抽出できました。 抽出した結果からなにをしたいか。でどれくらいの精度が必要になるか考える必要があります。 カードを集めて、画像として見れればいい。というレベルであれば今回作った内容で十分使用でき…

python + opencvでカード認識 画像抽出

前回までの記事で輪郭の抽出までできました。 あとは抽出した部分のみの画像がほしいので、画像に保存できれば完成です。 画像の保存編です。 画像の保存 import cv2 cv2.imwrite('output_card.jpg', img) opencvで読み込んだ画像インスタンスであればopencv…

python + opencvでカード認識 前処理+ノイズ除去

前回の記事でカード認識までの前処理と処理結果を載せてみましたが、ノイズが多くしっかりと認識できているか怪しい状態でした。 そのためノイズ除去かほかの方法できれいにカードを認識できるようにしてみます。 ノイズ除去 labs.eecs.tottori-u.ac.jp 画素…

python + opencv でカード認識処理

実装で試したことを書いていきます。 今回は前処理の部分をいろいろ試していきます。 kazu22002.hatenablog.com 今回サンプルで使ったカードです。適当にあったカードを使用 前処理 ガウシアンフィルタ( ぼかす処理 ) ネガポジ + グレースケール + ニ値化 グ…

カードの画像認識に挑戦

免許証や名刺などのカードを認識するアプリって結構あるので、どうやって作られているのか自分でも試してみました。 少し使いたいプロジェクトがあったのもあり、ネットの情報を元にどれくらいできるか挑戦です。 参考ページ dev.classmethod.jp qiita.com v…

laravelでのAOPをあきらめてみる

phpでドメイン駆動をやろうと試行錯誤していて、aopを使おうとプロジェクトにいれていましたが、速度が遅くなりすぎたため断念しました。 ja.wikipedia.org 使っていたのはRay.aopのlaravel用にラップしてあるライブラリを使用。 コードが肥大化してきて速度…

Amazon CodeDeployでのエラー 前回の記事が間違っていたため修正

kazu22002.hatenablog.com いろいろと試しているうちにロードバランサーが関係ないことに気付き、いろいろと検証していった過程の記事です。 s3のサンプル実行 githubからリリースしていたところ、s3のサンプルを実行できることを確認 docs.aws.amazon.com s…

Amazon CodeDeployでのエラー (ApplicationStop 0秒でエラー)

awsのCodeDeployでエラーが発生して進まないため、いろいろと試した内容の記録です。 やりたいこと githubからソースを取得して、起動中のec2のサーバーにリリースをしたい。 エラー内容 The overall deployment failed because too many individual instanc…

まず簡単に作ってみることの重要性

タイトルの通りのことに悩んでいます。 一番必要な機能を作ることが求められている機能でしょう。最近作るものが時間がかかりすぎているため悩むことが多くなってきたことですね。 最低限の予約アプリを作る たとえば予約アプリを作ろうとしたときに、まず必…

Amazon SESとpostfixの連携

AWS

個別でメールサーバーを作るのは個人的に好ましくないと思っていたため、Amazon SESのようなサービスを利用したサーバーの依存がない構成を作りたいと思っていました。 個別のメールサーバーを作る場合のデメリットとして以下の内容があると思っています。 I…

phpとdocker-compose環境でのxdebugの構成 (更新)

PHP

開発環境がいろいろと代わり以前確認用に作成したxdebugプロジェクトが動作しなくなっていたため更新しました。 原因としては mac book の更新( m1 チップの影響 ) xdebugのバージョンアップ ( 2 -> 3系 ) 使用環境 phpstorm docker php-fpm , nginx mac boo…

機械学習で出てくるわからない単語を学習

「壁にぶつかることで理解する必要性がわかる。」 ということで、絶賛壁にぶつかっています。tensorflowを使ったサンプルコードから理解を深めていこうとしていますが、新規の用語が多すぎます。 ただわからない。と思って本をみたところ大体最初の方に全部…

tensorflowチュートリアル

tensorflowのチュートリアルをそのまま実行し、書いた内容を理解するための記事です。 www.tensorflow.org コメントもチュートリアルに書いてある内容を書き込み、自分の理解できるように追記してみました。 import tensorflow as tf # 画像を分類するニュー…

tensorflowのインストール

tensorflowを使う機会が出てきたため、インストールしてみました。 apple siliconのPCを使用しているとかなり情報が限られてきますが、参考の記事がかなり有用でインストールして動作するところまでできました。 qiita.com 記事の内容はtensorflow_macosを使…

apple siliconでの開発環境構築

新年です。明けましておめでとうございます。今年も頑張りたいです。 新しい年ということで新しいMacBookを開発でちゃんと使い始めたので、開発環境について書いてみます。 かなり詰まることが多いですが、なんとかwebの開発環境を作ったので書いてみます。 …

2020年の振り返り

2020年も終わりますね。本当に早い1年だったと思います。早く感じるということは新しいことを全くしていないんでしょう。 仕事でプログラムを書くようになるとブログを書かなくなることが最近分かってきました。アプリを構築するのが楽しいんでしょうねー。…

自作のChrome拡張の導入を試してみた

Chrome拡張を自分で一回作ってみたいと思っていたので試して見みました。 developer.chrome.com 構成 manifest.jsonと対象のjsやimgファイルで作ることが可能になってます。 { "name": "Sample", "version": "1.0.0", "manifest_version": 2, "description":…

AmazonSQSにキューを挿入してみる

問い合わせフォーム周りで便利になりそうな技術を試しているところで、AmazonSQSについても便利そうなため触ってみました。 メッセージキューを管理できるサービスでサービスごとの連携でかなり活躍する機能だと思います。 Amazon SQS Fully managed message…

Amazon SESが気になっていたので試してみた

大量にメールを送受信する場合は、メールサーバーを立ち上げたほうがいいかもしれないが、そこまでの量のメールを送信するケースがない場合にサーバー構築が面倒なため適当なサービスを使ってみたいと思っていました。 問い合わせフォームをいろいろと作って…

DynamoDBのユースケースを考えてみる

DynamoDBに限定しないが、KVSやドキュメントDBの特徴を理解していくとユースケースに納得ができる場合が増え、考えをまとめてみたくなったので記事にしてみます。 ログ KVSを利用したログのシステムは多くの事例があるため、イメージしやすいですね。 Elasti…

DynamoDBを理解するための訓練 ~データ操作~

DynamoDBへのCRADをSDKを利用して試します。 言語はpythonにしました。(サンプルがpythonだったのと、機械学習を重点的に取り組んでいきたくなったので。) dynamoDB localへのアクセス boto3のインストール boto3.amazonaws.com pip install boto3 import …

「RDB技術者のためのNoSQL」を読んだ

RDB技術者のためのNoSQLガイド作者:河村康爾,北沢匠,佐伯嘉康,佐藤直生,原沢滋,平山毅,李昌桓,渡部徹太郎発売日: 2017/05/09メディア: Kindle版 最近NoSQLを使う機会があり、適当に使っています。ただいままでRDBを中心にデータベースに触れてきたためできる…

aws sam cliのインストール

docs.aws.amazon.com AWS サーバーレスアプリケーションモデル (AWS SAM)で構築したい内容があったので、cliをインストールしてみました。 macでインストールで行いました。 brewでインストールしたこともあり、ドキュメント通りできました。 brew tap aws/t…

「カルチャーモデル 最高の組織文化の作り方」を読んだ

カルチャーモデル 最高の組織文化のつくり方作者:唐澤俊輔発売日: 2020/08/28メディア: Kindle版 twitterで細かく感銘を受けている人がいたので、購入した書籍になります。 カルチャー(文化)については最近特に必要だと感じていることで、会社がどういう組…

SlackでのAwsBillingの予算アラートの受信 を試してみた

docs.aws.amazon.com awsの料金が気になり始めたので、通知をするようにしてみました。 awsの機能でまずできるところまでやってみます。 Aws Chatbotまでの設定 予算の通知設定 slackでの表示 Amazon Chime 雑記 Aws Chatbotまでの設定 aws Chatbotを利用し…

DynamoDBを理解するための訓練 ~環境構築~

amplifyを使用してアプリケーションを構築している際に、データ取得の手段で困ることがかなり発生しました。 これはデータがDynamoDBに登録されているためデータ取得の際にRDBの考え方とは別の知識が必要になっていると思いました。 NoSQLといわれる分野をセ…