投稿時間:2022-01-01 18:13:57 RSSフィード2022-01-01 18:00 分まとめ(18件)

カテゴリー等	サイト名等	記事タイトル・トレンドワード等	リンクURL	頻出ワード・要約等/検索ボリューム	登録日
TECH	Engadget Japanese	最高の手書き生活、電子ペーパーノートのクアデルノ｜ベストバイ2021	https://japanese.engadget.com/news-quaderno-083035123.html	quaderno	2022-01-01 08:30:35
AWS	AWS Japan Blog	ベンダーロックインを解きほぐしていくために。AWSからホワイトペーパーを発行。	https://aws.amazon.com/jp/blogs/news/unpicking-vendor-lock-in/	お客様自身が望めば、可及的速やかにクラウドを「Switch乗り換える」することは容易であるべきですし、AWSを含むCSPクラウド・サービス・プロバイダーはそれを全力でサポートするべきーとの考えが記載されています。	2022-01-01 08:01:23
Program	[全てのタグ]の新着質問一覧｜teratail（テラテイル）	このAPIはどうやって使いますか？	https://teratail.com/questions/376265?rss=all	詳細	2022-01-01 17:54:44
Program	[全てのタグ]の新着質問一覧｜teratail（テラテイル）	submit時に実行したいスクリプトがうまく動作しない	https://teratail.com/questions/376264?rss=all	submit時に実行したいスクリプトがうまく動作しない前提・実現したいことphpJavaScriptでフォーム入力送信後に同じ位置を表示させたく作業しています。	2022-01-01 17:43:16
Program	[全てのタグ]の新着質問一覧｜teratail（テラテイル）	ジェネリック型の拡張メソッドの定義の仕方について。出来ない？	https://teratail.com/questions/376263?rss=all	ジェネリック型の拡張メソッドの定義の仕方について。	2022-01-01 17:42:46
Program	[全てのタグ]の新着質問一覧｜teratail（テラテイル）	Eclipseで発生しているエラーについて	https://teratail.com/questions/376262?rss=all	Eclipseで発生しているエラーについてEclipseで発生しているエラーについてEclipseでプログラム実行時に、「クラスパスによって参照されているアーカイブSampleProjectlibcommonslangjarnbspは存在しません。	2022-01-01 17:28:32
Program	[全てのタグ]の新着質問一覧｜teratail（テラテイル）	pyinstallerで配布する際のベストなパスの設定方法	https://teratail.com/questions/376261?rss=all	pyinstallerで配布する際のベストなパスの設定方法環境MacOSnbspvernbsppythonnbspvernbsppoetrynbspvernbsp実現したいことディレクトリ構造が以下の場合において、実行ファイルはcommandディレクトリ内のcommandpyを実行するものとします。	2022-01-01 17:23:07
Program	[全てのタグ]の新着質問一覧｜teratail（テラテイル）	git commitで更新したファイルの差分が想定通りに表示されない	https://teratail.com/questions/376260?rss=all	gitcommitで更新したファイルの差分が想定通りに表示されない前提・実現したいことgitnbspcommitによりローカルリポジトリのファイルを更新した際に、更新した行を正しく表示されるようにしたいです発生している問題indexhtmlというファイルを作成し、行目にltpgtsampleltpgtのように記入して、gitnbspaddnbspindexhtmlをしてからgitnbspcommitでローカルリポジトリに登録しました。	2022-01-01 17:07:39
AWS	AWSタグが付けられた新着投稿 - Qiita	AWS EC2 にボリュームを追加する・ボリュームを変更する	https://qiita.com/quryu/items/079ee40aeed753b8d930	AWSECにボリュームを追加する・ボリュームを変更する背景ファイルコピーなどでNospaceleftondeviceというメッセージが表示された場合、インスタンスにアタッチされているEBSボリュームが使用容量いっぱいなので追加する必要があります。	2022-01-01 17:01:51
海外TECH	DEV Community	Deep Learning Library From Scratch 2: Backpropagation	https://dev.to/ashwinscode/deep-learning-library-from-scratch-2-backpropagation-116m	Deep Learning Library From Scratch BackpropagationHello and welcome to this second post in this series where we build a deep learning library from scratch The code for this blog series can be found in this Github repo Please also look at my Github profile and star anything you like or give feedback on how I can improve Last PostIn the last post found here we implemented linear layers and common activation functions and successfully built the forward pass of the neural network So far our model can only make predictions but has no facility to train and correct its predictions This is what we will be covering today by implementing a process called backpropagation Overview of how backpropagation worksWhen a neural network trains it is given a dataset with inputs and their corresponding output The network would produce its prediction from the dataset s input and calculate how far away its prediction is from the real output given in the dataset this is called the loss The aim of training a neural network is to minimise this loss After the loss is calculated the weights and biases of the network are tweaked in such a way that it reduces the loss value Remember in the previous post weights and biases are our adjustable network parameters which are used in the calculation of the network output This process repeats several number of times with the loss hopefully decreasing with each repetition Each repetition is known as an epoch Loss FunctionsThere are many different loss functions however we will only look at the Mean Squared Error function in this post More loss functions will be look at in future posts Loss functions receive the raw error of the network which is calculated with predicted outputs actual outputs and produce a measurement of how bad the error is Mean Squared Error MSE takes the error vector and returns the mean of all the squared values in the vector For example Network output Actual outputs Error Loss The reason why you square the errors first instead of calculating the mean immediately is so that any negative values in the error vector are treated the same as positive values in the error vector since a negative number squared is positive Here is the our python class for MSE loss pyimport numpy as npclass MSE def call self error return np mean error BackpropagationBackpropagation is the training process of the network The aim of the neural network training process is to minimise the loss This can be treated as an optimisation problem whose solutions rely heavily on calculus differentiation to be more specific Computing gradientsThe first step in backpropagation is to find the gradient of all the weights and biases in the network with respect to the loss function Let s use an example to demonstrate Our small example network consist of Linear layer Sigmoid layerSo the whole network s output calculation will be as such x the network inputw the linear layer s weightb the linear layer s biasa linear layer outputpred network output sigmoid outputNow let s calculate the lossy the expected output for xNow we have to find the gradient of the weights biases with respect to the lossThis step utilises the chain ruleWe have now calculated the gradients of the parameters with respect to the loss The general rule for calculating the gradient weights biases of a certain layer with respect to the loss is Differentiate each layer s output with respect to it s input starting from the last layer till you reach the layer whose parameters you want to adjust Multiply all those results together and call this gradOnce you have reached the desired layer differentiate its output with respect to its weight call this w grad and differentiate with respect to its bias call this b grad Multiply w grad and grad to get the gradient of loss with respect to the layer s weight Do the same with b grad to get the gradient of loss with respect to the layer s bias With this in mind here is the code for all our layers layers pyimport numpy as npclass Activation def init self passclass Layer def init self passclass Model def init self layers self layers layers def call self x output x for layer in self layers output layer output return outputclass Linear Layer def init self units self units units self initialized False def call self x self input x if not self initialized self w np random rand self input shape self units self b np random rand self units self initialized True return self input self w self b def backward self grad self w gradient self input T grad self b gradient np sum grad axis return grad self w Tclass Sigmoid Activation def call self x self output np exp x return self output def backward self grad return grad self output self output class Relu Activation def call self x self output np maximum x return self output def backward self grad return grad np clip self output class Softmax Activation def call self x exps np exp x np max x self output exps np sum exps axis keepdims True return self output def backward self grad m n self output shape p self output tensor np einsum ij ik gt ijk p p tensor np einsum ij jk gt ijk p np eye n n dSoftmax tensor tensor dz np einsum ijk ik gt ij dSoftmax grad return dzclass Tanh Activation def call self x self output np tanh x return self output def backward self grad return grad self output The backward method in each class is a function that differentiates the layer s output with respect to its input Feel free to look up each of the activation function s derivates to make the code make more sense The backward function for the linear layer is different since it not only calculates the gradient of the output with respect to the input but to its parameters too NoteThe differentiation rule for matrix multiplication is as follows where x and y are matrices being multiplied together Optimising parameters with Stochastic Gradient DescentThere are many ways of optimising network parameters but in this post we will cover the most basic method which is Stochastic Gradient Descent SGD SGD is very simple It takes each parameter s calculated gradient and multiplies it by a specified learning rate The respective parameter is then subtracted by this result The reason why a learning rate is used is to control how fast the network learns The best learning rate value minimises the cost in a small number of epochs A too small learning rate minimises the cost too but after several epochs so would take time A too large learning rate would make the loss approach a value which is not its minimum so the network fails to train properly Here is the code for MSE optim pyimport layersimport tqdm tqdm is a progress bar so we can see how far into the epoch we areclass SGD def init self lr self lr lr def call self model loss grad loss backward for layer in tqdm tqdm model layers grad layer backward grad calculates layer parameter gradients if isinstance layer layers Layer layer w layer w gradient self lr layer b layer b gradient self lrWith all things in place to train the network we can add a train function to our model layers pyimport numpy as npimport lossimport optimnp random seed class Model def init self layers self layers layers def call self x output x for layer in self layers output layer output return output def train self x y optim optim SGD loss loss MSE epochs for epoch in range epochs pred self call x error pred y l loss error optim self loss print f epoch epoch loss l Testing it out We are going to build and train a neural network so that it can perform as an XOR gate XOR gates take in two inputs The inputs can either be or representing False or True If both the inputs are the same the gate outputs If both the inputs are not the same the gate outputs main pyimport layersimport lossimport optimimport numpy as npx np array y np array net layers Model layers Linear layers Relu layers Linear layers Sigmoid layers Linear layers Sigmoid net train x y optim optim SGD lr loss loss MSE epochs print net x Output epoch loss ███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ lt it s epoch loss ███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ lt it s epoch loss ███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ lt it s epoch loss ███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ lt it s epoch loss ███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ lt it s epoch loss ███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ lt it s epoch loss ███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ lt it s epoch loss ███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ lt it s epoch loss ███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ lt it s epoch loss ███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ lt it s epoch loss As you can see the result is really good and not too far off from the real outputs a loss of is really low We can also adjust our model to work with other activation functions main pyimport layersimport lossimport optimimport numpy as npx np array y np array net layers Model layers Linear layers Relu layers Linear layers Sigmoid layers Linear layers Softmax net train x y optim optim SGD lr loss loss MSE epochs print net x Outputepoch loss ███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ lt it s epoch loss ███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ lt it s epoch loss ███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ lt it s epoch loss █████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ lt it s epoch loss ███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ lt it s epoch loss █████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ lt it s epoch loss ███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ lt it s epoch loss ███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ lt it s epoch loss ███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ lt it s epoch loss ███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ lt it s epoch loss Wow We have successfully built a working neural network This can be successfully applied to more useful things such as the MNIST dataset which we will use soon in another post The next post will go through more loss functions and more optimisation functions Thanks for reading	2022-01-01 08:26:51
金融	RSS FILE - 日本証券業協会	会長会見・談話	https://www.jsda.or.jp/about/kaiken/index.html	会長	2022-01-01 09:00:00
海外ニュース	Japan Times latest articles	Japan research body and Mitsubishi to collaborate on U.S. fast reactor	https://www.japantimes.co.jp/news/2022/01/01/national/us-japan-fast-reactor/	Japan research body and Mitsubishi to collaborate on U S fast reactorThe Japan Atomic Energy Agency is considering providing operational data and designs to TerraPower a company co founded by Microsoft Corp s Bill Gates	2022-01-01 17:35:55
ニュース	BBC News - Home	Covid: More restrictions a last resort, Sajid Javid says	https://www.bbc.co.uk/news/uk-59844761?at_medium=RSS&at_campaign=KARANGA	health	2022-01-01 08:45:33
ニュース	BBC News - Home	Fireworks and Big Ben mark subdued UK new year amid Covid spread	https://www.bbc.co.uk/news/uk-59844031?at_medium=RSS&at_campaign=KARANGA	omicron	2022-01-01 08:07:47
ビジネス	東洋経済オンライン	｢1試合3得点以上｣をハットトリックという理由 言われてみると気になる身の回りの雑学を紹介 | 雑学 | 東洋経済オンライン	https://toyokeizai.net/articles/-/477995?utm_source=rss&utm_medium=http&utm_campaign=link_back	東洋経済オンライン	2022-01-01 17:30:00
ニュース	THE BRIDGE	ウミトロン：AI・IoT・リモートセンシングで水産養殖をスマートに【BRIDGE Tokyoノミネート企業紹介】	https://thebridge.jp/2022/01/bridge-tokyo-2022-intro-showcase-nominee-umitron	ウミトロンAI・IoT・リモートセンシングで水産養殖をスマートに【BRIDGETokyoノミネート企業紹介】本稿はBRIDGETokyoの企画をご紹介いたします。	2022-01-01 08:00:52
ニュース	THE BRIDGE	バルス：xRライブ事業・エンタメの統合プラットフォームなどを展開【BRIDGE Tokyoノミネート企業紹介】	https://thebridge.jp/2022/01/bridge-tokyo-2022-intro-showcase-nominee-balus	バルスxRライブ事業・エンタメの統合プラットフォームなどを展開【BRIDGETokyoノミネート企業紹介】本稿はBRIDGETokyoの企画をご紹介いたします。	2022-01-01 08:00:42
ニュース	THE BRIDGE	日本クラウドキャピタル：株式投資クラファン「FUNDINNO」運営【BRIDGE Tokyoノミネート企業紹介】	https://thebridge.jp/2022/01/bridge-tokyo-2022-intro-showcase-nominee-japan-cloud-capital	日本クラウドキャピタル株式投資クラファン「FUNDINNO」運営【BRIDGETokyoノミネート企業紹介】本稿はBRIDGETokyoの企画をご紹介いたします。	2022-01-01 08:00:38