投稿時間:2021-12-03 01:35:13 RSSフィード2021-12-03 01:00 分まとめ(37件)

カテゴリー等	サイト名等	記事タイトル・トレンドワード等	リンクURL	頻出ワード・要約等/検索ボリューム	登録日
python	Pythonタグが付けられた新着投稿 - Qiita	Tensorflow.kerasとkeras混ぜてモデル作って死にかけた話	https://qiita.com/vegetable_yummy/items/e03b17bf28cea84485b0		2021-12-03 00:55:43
python	Pythonタグが付けられた新着投稿 - Qiita	【Python】型ヒントと抽象基底クラス ~○○クエストを添えて~	https://qiita.com/takapp/items/54230fb79dc305892de2	【Python】型ヒントと抽象基底クラスクエストを添えて前書きこの記事はJSL日本システム技研AdventCalendarの記事です結構殴り書きしたため、誤字等ございましたら環境pythonwindows本編の前に本編の前に、今回使用する型ヒント君と抽象基底クラス君について触りだけ紹介したいとおもいます型ヒント君Pythonの関数や変数に型のヒントを付けれるよっって機能です記述方法が複数あるため、その時々のベストプラクティスを調べることをお勧めしますbintcstrstrdefaddxintyintgtintreturnxylist等に関しても適用できますstrlistliststrpythonmultitupletupleintstrintpython複数の型を指定したい場合、Unionを使用すると実現できますUnionはtypingモジュールよりインポートできますfromtypingimportUnionstrintlistlistUnionstrintstr非常に便利に見える型ヒント君ですが実はヒントとあるように強制はしないため、型以外の値も代入等可能なのですaintstrdefaddxintyintgtintreturnxyaddpythonpythonここら辺をガッチリ固めたいのでしたらPythonやめましょう嘘ですほんとです。	2021-12-03 00:45:58
python	Pythonタグが付けられた新着投稿 - Qiita	【MeCab】MeCabをインストールしてAnacondaで使えるようにする（Windows）	https://qiita.com/probabilityhill/items/e60831380173f408ac5d	私は險伜捷荳€闊ャ蜷崎ゥ・繧オ螟画磁邯・書館險伜捷荳€闊ャナ蜷崎ゥ・蝗コ譛牙錐隧・邨・ケ・蜷崎ゥ・繧オ螟画磁邯・を借險伜捷荳€闊ャ閧ス蜷崎ゥ・蝗コ譛牙錐隧・邨・ケ・險伜捷荳€闊ャB蜷崎ゥ・蝗コ譛牙錐隧・邨・ケ・EOSAnacondaにMeCabをインストールこちらに書かれているコマンドcondainstallcmzhmecabpythonを実行gtProceedynと出てきたらyと打ってEnterを押す実行例basePSCUsersUSERNAMEgtcondainstallcmzhmecabpythonCollectingpackagemetadatacurrentrepodatajsondoneSolvingenvironmentdonePackagePlanenvironmentlocationCUsersUSERNAMEpyenvpyenvwinversionsAnacondaaddedupdatedspecsmecabpythonThefollowingpackageswillbedownloadedpackagebuildmecabpythonpyKBmzhTotalKBThefollowingNEWpackageswillbeINSTALLEDmecabpythonmzhwinmecabpythonpyProceedynyDownloadingandExtractingPackagesmecabpythonKBPreparingtransactiondoneVerifyingtransactiondoneExecutingtransactiondonecondalistでインストールできているかを確認実行例basePSCUsersUSERNAMEgtcondalistmecabpythonpymzhMeCabで形態素解析メモ帳に以下のコードをコピペして拡張子pyで保存ここではmecabpyとするmecabpyimportMeCabMeCabオブジェクトの生成mecabMeCabTagger形態素解析resultmecabparse私は図書館で本を借りた。	2021-12-03 00:32:33
python	Pythonタグが付けられた新着投稿 - Qiita	【Python版】AtCoderのコンテスト中に「問題が解けない！」となった時に読む記事	https://qiita.com/H20/items/3de3f298b7c075fa5925	サンプルが通らない提出するとサンプル含めて全てでWAが出た最大ケースがサンプルなどで判明している状態で、最大ケースだとTLEするか微妙なライン提出するとサンプル以外の大半でWAが出た解法を思いついたが提出するとTLEしそう想定解であるはずだが、PythonなのでTLEしてしまった提出するとTLEが起きた提出するとつかつWAとなる提出するとつかつTLEする提出するとREランタイムエラーが起きた提出するとMLEメモリオーバーが起きた提出するとWAもREもTLEも起きた実行するとエラーが発生したり無限ループして正常に終わらない他人のライブラリを流用したがうまくいかない過去にその問題の類題を見つけた気がする思いついた解法が制約よりもかなり余裕があり、提出するとWA思いついた解法が複雑すぎて違う気がする問題文の意味が分からない解き方が分からない通らないかもしれない分かんないからTwitterを眺めたい書き込みたいもう諦めちゃった終わりに【サンプルが通らない】問題文や制約の誤読をしていないかもう一度問題文と制約を一文逃さず読み直す処理の順序を間違えてないかコードと見比べてチェック記号関連は誤読しやすい切り捨てとなるlfloorxrfloorや同じ意味をもつガウス記号xと、切り上げlceilxrceilの見た目は凄く似てるので注意条件を満たす回答が複数ありそのどれを出力してもよい場合で、サンプルと合っていないだけではないかグラフ問題についてはサンプルをグラフのビジュアライザでチェックしてみてもよい文中に記載された有向グラフか無向グラフであるかの情報の読み飛ばし、読み誤りはよくある数列が入力にある場合について、ソートされた数列と勘違いしているが、実際はランダムな順序だということはないかサンプルの個目以降から合わなくなる原因の一種、ソートしようサンプルが通ってない状況で提出してもいいが、だいたいの場合において無意味にWAを重ねるだけ自身の開発環境がおかしいせいからWAになってるだけで提出するとACするかも、なんて期待は提出する前に捨てた方がよい提出するとサンプル以外の大半でWAが出たの内容をチェック【提出するとサンプル含めて全てでWAが出た】コードのコピペミスではないか提出する言語を誤っていないかデバッグ文字を埋め込んだままにしていないか答えとなる値を出力する前にYesやNoを出力する必要はないか配列の出力である場合に、その要素数を先頭に出力する必要があったりはしないかまずこれらの場合についてはAtCoderEasyTestを導入し、次回から『TestampSubmit』による提出を一般的な提出とした方がよい、無駄なWAが減らせる条件を満たす回答が複数ある場合などで、正しい解答に対して誤っていると表示されるケースを許容しないといけないが、それが一切苦にならないほど有用なツール【提出するとサンプル以外の大半でWAが出た】制約の誤読により、最大値や最小値に対する考慮漏れはないか以上、以下、未満、より大きいの条件を誤っていないかifとelseのネストは正しいか、elseを書いていないせいで余計な処理が行われていないか小さいテストケースを自分で作ってみて、おかしくなるパターンがないかチェックしてみる開発環境でデバッグを行い、くさいところで行行動作を確認するまだデバッグ環境を作っていない場合はVsCodeのデバッグは構築が楽だし無料なのでお勧め方法については、競技プログラミングを始めたばかりの人に伝えたいことの日目の記事がちょうどよさそうなので、それにリンクを張る予定ですイテレーターの範囲や変数名に誤りはないかリストのアクセスを行で複雑に書いているなら処理を行に分割してみる、誤った参照や抜け漏れも見つかりやすくなる変数を別の用途の変数で上書きしていないかforのイテレーターや、入力要素などの上書きはやりがちだし気づきにくいPythonだとエラーとして出にくいので、本当にやりがち制約として同じ値が複数存在することがある場合、その考慮がなされたコードになっているかbisectやdeque関連のleftrightの違いには気を付けるmaxminの制御は正しいかinf無限大扱いした値よりも大きな値が結果となることはないかAnswerとする値の初期値としての値は正しいか、もっと大きくしたり小さくしてみる必要はないか二分探索であれば、上限と下限を想定よりも大きくとってみる下限についてマイナスな値にしてみるとかmodをとった上で提出しているか、modの値を手打ちしてタイポしていないかabs絶対値を考えないといけない箇所で漏れはないか制限時間に余裕がある場合は全体的な要素や処理を大き目にとってみてもよい小数が絡む問題は小数点誤差でWAとなる可能性が高いdecimalを使ったり、整数に出来る部分があれば整数に変換して処理したりする小数点を切り捨ててよい場合は切り捨て除算を使用する切り上げも同様に切り捨て除算を応用して切り上げる小数点の入力をfloatで受け取った段階でWAとなる問題も過去にあるので文字列で受け取る必要があればそうすること小数点誤差が発生する処理を作った場合について、誤差許容範囲を狭めるのとは逆に、許容範囲を広くとることでWAがとれることもある解決できてないまま同じ内容のコードを二度投げるのは無駄狂気とは即ち、同じことを繰り返し行い、違う結果を期待することアインシュタインの言葉ではないらしい【最大ケースがサンプルなどで判明している状態で、最大ケースだとTLEするか微妙なライン】手元の環境で結果が出力されるまでに時間があり、TLEするかもと不安な時は、Atcoderにあるコードテストで実行してみる時間がないときは、勢いで提出してみるのも吉【解法を思いついたが、提出するとTLEしそう】実行時間制限secかチェックsecじゃない時に強調表示してくれるTimeLimitEmphasizerを導入するのはよい対策どこかに省略できる処理や打ち切ってよい処理がないかチェック気づいたアイデアは脳の片隅に溜めておいて、後で試しに提出してみるのもあり解法が二分探索の場合について、想像よりもに早く実行が終わることはしばしば、そのまま提出してみてもいいかもONの処理もそこそこ早い上限が小さい制約があればその制約をオーダーを中心に処理を考えてみる【想定解であるはずだが、PythonなのでTLEしてしまった】まずは、本当にPythonなので起きており、Cだったら解けたはずの解法であるか切り分けDPでは累積和でまとめられる処理をまとめていないせいでTLEしている可能性がある無駄に重い処理を作り上げていないかチェックする多次元の配列によるアクセスは遅いため、二次元リスト、三次元リストは一次元リストのに書き直すLISTyxとしている箇所について配列のサイズが分かっている場合はLISTyWxといったように次元に落としてしまうPypyで提出していて、Pythonによる提出を試していない場合、Pythonの提出なら間に合うことも稀にあるdfsやdecimal、文字列操作の多いコードで起きるdfsの場合、dequeを使った処理に置き換えてみる置き換えは結構に簡単にできるため、焦らず行うそれでも間に合わないならメモ化再帰する問題かもしれないfloatinfは関数呼び出しなので処理は結構重い、比較処理もちょっと重いことに気を付けるfloatinfはループする処理で毎回呼び出さずinffloatinfやとかにして実行する別の言語で解くのも一つの手だが、いきなり競プロに慣れていない言語で取り掛かってもうまくいく可能性は低いアルゴ式とかで最低限の慣れと実行環境の準備は必要【提出するとREランタイムエラーが起きた】除算、配列の要素外にアクセス、Noneの考慮漏れがないかチェック縦横のWHについて逆に処理していないかチェックバグの原因が不明でYesNo回答の場合trycatchで例外をキャッチしてNoと出力するのも一つの手dfsの場合、おまじないのsyssetrecursionlimitはちゃんと書いているかチェック【提出するとTLEが起きた】TLEが起きた場合、最終的な結果が出るのは数十秒先とか、実行の途中結果を眺めているのは時間の無駄制約を再チェック制約でleMleに対してLforinrangeMみたいな感じのことをすると、MLEではなく、TLEする何か無駄なループや無駄な配列を作ったりはしていないかチェックTLEしたテストケースが多いときに、処理を半分の時間へ改善するような中途半端な改善方法は徒労に終わる可能性が高い想定解は大抵短くスマートなので、中途半端な改善でACできることはCならまだしもPythonでは起きにくいONをONに、ONの処理をONlogNやONに改善する方法はないか検討するリストの足し算や文字列の変換処理は遅いのでそういった処理がないかチェック累積和やいもす法、セグ木、平衡二分探索木で省略できる処理はないか考えるメモ化再帰に置き換えたり、優先度付きキューが使える部分はないかなんらかのライブラリを使っている場合は、そのライブラリ内の処理をチェックOと思っていた処理がONやONなんて時もある【提出するとつかつWAとなる】疑うべきはコーナーケース、問題文や制約などを見直す特にとかを含むパターンはちゃんと試す小さいパターンの結果が頭の検算と合うか試してみる最大ケースの漏れはないか複数パターンの提出を試してWAとなる数が異なる場合、その二つの処理を順次実行するコードにしてもよいかもですが、うまくいく可能性は低め嘘解法で頑張ってみるのも手だし、また改めて考え直すのも手小さなテストケースの場合は愚直解をする処理に飛ぶようにしてみるというテクニックもある【提出するとつかつTLEする】テストケースをエスパーして回答を埋め込みをするのもあり実行時間が最悪となるパターンを思いついてみる制約上で最大となる典型的なテストケースは基本含まれている約数を使う解法なら高度合成数ので出来上がる解を埋め込んでみるとか特定条件で無限ループに陥ることがないかチェック試したことはないが、時間を図ってsecになったら処理を抜けるなんてのもありかも実は想定解からかけ離れてる場合がある半分全列挙を必要とする問題でやられたことがある、意地悪いテストケースの罠に注意閃きを必要としないABCE以降の問題で、なんらかの高等アルゴリズムや高等技術を使わないで解ける問題が今までにあったか考えてみるギリギリでTLEしているなら、同じコードをそのまま何度か提出したら、一回は通ることはある参考提出、参考提出あんまりやらない方がいいけどあるにはある、本当にギリギリで終わっているなら試す価値はある【提出するとMLEメモリオーバーが起きた】制約を再チェック制約でleMleに対してLMみたいな感じのことをするとMLEするやりたいことに応じて、座標圧縮したり、setやdefaultdictを使用するメモリ制限MBフルで使う問題はそうないメモリ制限MBの時に、制限フルに使うCheckerがあったがMBフルで使うような問題は記憶にはない何か無駄なことをやっているためどうにかしてメモリを節約しよう【提出するとWAもREもTLEも起きた】ある意味レア一つずつ解決していくものによっては小さなミス一つ直すだけで一気に解決する可能性もある無駄な処理が紛れ込んでいないかチェックコンテスト後、クラスのみんなに自慢しよう【実行するとエラーが発生したり無限ループして正常に終わらない】基本的にはケアレスミスなので落ち着いて対処入力処理が誤っていないか無限ループなら条件を見直す、再帰関数を使っている場合についてreturnの漏れはないか変数を上書きしていないか型の誤りではないか特に整数型と文字列型はしっかり変換する【他人のライブラリを流用したがうまくいかない】流用は上から下まで正確にコピーしているかチェックする流用したライブラリや処理が完全に誤っているということはめったにないが、短いケースで確認してみてもよい誤っていればかなり不運、外れくじを引いたと思って別の流用先を探す他人のライブラリの使い方が誤っているパターンがあるセグメントツリーは基本的には半開区間だったりするので注意転倒数はNでなく、N番目の転倒数を数えるライブラリが多い使い方の問題で誤ることはよくあるため、流用元の情報はよく読む変数の上書きをしてしまっている可能性もあるかも流用元の関数の戻り値が複数である場合もあるのでその場合は複数の変数に分けて受け取る返却されるデータの型が想定している型と異なることもあるので、内容が理解しきれない場合は、デバッグ実行で型をチェックする他人のライブラリが誤ってはいるわけではないが、処理に改善できる余地があり、TLEしてしまうパターンがある呼び出す処理のオーダーに着目して、重い処理がないかチェックワンライナーの転倒数のコードを流用した結果、処理がONでTLEしたという経験がある、短いコードはちょっと注意使い方を新たに検討してみる、流用したライブラリの処理をいじるなんて方法もあるが、諦めて他のライブラリを探すのも無難な対策【過去にその問題の類題を見つけた気がする】問題の内容が完全一致するパターンはあるにはあるが、かなり稀約数の偶奇とOddvsEvenどちらの問題もちゃんと読み、違いがないかをちゃんと見つける特に、最近出たyukicoderやICPC、コドフォの問題との類似問題は何かしらの違いがあるはず例風船配りとProjectPlanning過去に直近のコンテストで類似問題が出たために予定されていたコンテストが取り消しになった例がある似た問題を解いたことがあったので喜び勇んで同様の方法で解いてみた結果、WAとなることはあるいくつかの解法があるのでまずは類題の解説を読んで別解を確認してみる今回の問題に活かせる部分があるかもしれないAtCoder上でいかにも類題な問題は、別の方法をとらないといけないか、その前の問題を応用して解く問題であるので、全く同じ解法で解けることはなさげ別の方法をとらないといけない例gtltとgtltagain応用して解く例LampとLamps【問題文の意味が分からない】ゆっくり落ち着いて読むこと、誤読や書いてないことを勝手に付け加えてしまっている可能性はないかまず問題文が数学的な言い回しで分かりにくいだけで実際言っていることは簡単だったりするsumはfor文に置き換えて考えてみる「任意の整数について」など言いまわしは分かりにくいけど、たいていの場合で「どんな整数についても」という意味に置き換えてよい文字の掛かっている言葉が何かに注目する対象の問題について質問が来てないかチェックする集中してる時は全体公開の質問があることに気づかないことも順位表を見て全体的に誤っている人が多ければ、質問を投げてみるべき、その解答がヒントになるかも【解き方が分からない】誤読していないかチェックひとまず愚直解を作ってみる小さい値の入力をいくつか試して規則性を見つけてみたりできるDPの可能性はないか疑ってみる気づいたところで解けないことは多いけれど…お気に入りやライバルにしている人が解いているならその人の得意な分野がなんであるか考えるという手がある順位表を見てAC数が感覚よりも多いようなら、それは愚直答や、貪欲解、比較的簡単なアルゴリズムの応用である可能性が高いただやるだけのコードを作ったり、全探索、端から順に貪欲、二分探索、逆順、UnionFindなどよくあるパターンで当てはまるものはないか試してみる構築問題などで存在なしない場合はを出力してくださいと書かれているけど、サンプルにの出力がない場合は、必ず存在するを出力することがないことが多い必ず存在すると仮定した場合で検討してみるひとまず作って提出してみるそこからWAとかなら、WAになったものがになるようなコーナーケースである可能性が高いあり得そうなアルゴリズムを口に出してみるあのアルゴリズムはどこの内容をパラ読みしたり、上から順に目次を音読してみるとか最大値の最小化問題であれば、二分探索を試してみる【思いついた解法が制約よりもかなり余裕があり、提出するとWA】ABCの問題で、やたらと小さな制約が存在し、その制約を注目しないような解法は基本的には誤りと思った方がよい競技プログラミングで解法を思いつくための典型的な考え方が参考になるはず【思いついた解法が複雑すぎて違う気がする】それ以外に思いつかなかったり、別の方法で試したものが通らない場合は試してみるべきコードが長くなるようなものであれば回答になりにくいと考えてしまうが、その一部に典型となるアルゴリズムが混じるなら想定解の可能性は高い【出しても通らないかもしれない】解法のストックには溜めておくこと、どうしても解けないときは一旦その方法で出してみるうまくいく可能性が少なからず存在するし、結果から絞れるものがあるかも【分かんないからTwitterを眺めたい書き込みたい】ルール上、Twitterに有益な情報が流れてくることはないので避けるランキングを眺めてた方が有用諦めていない状況で書き込むのは厳禁書き込んでいる時間にコード書いてたらぎりぎり解けたのに、と悔やむ経験はするものではない【もう諦めちゃった】次の問題が解けたりしないかはチェックすること一問飛ばして次の問題に取り掛かっていたなら、一つ前の問題を悪あがきでもいいのでチャレンジするのもありやり残したことはないか、諦めるならすっぱり諦めるレートが下がれば残念だけれど、気持ちを切り替えるしかない解けなかった問題の解説はちゃんと読み、今回の敗因を分析するきっと次につながる、はず…洗濯物とかまだ回していい時間なら回した方がよい遅い時間に回すのは近所迷惑となるので回す場合はお早めに手持ち無沙汰に感じたら、私のおすすめフリーRPGゲームざくざくアクターズをプレイ【終わりに】自戒としてまとめてみました。	2021-12-03 00:01:04
Program	[全てのタグ]の新着質問一覧｜teratail（テラテイル）	WordPress:カスタムHTMLタグ:想定されていない無効なコンテンツを防ぐ	https://teratail.com/questions/372029?rss=all	WordPressカスタムHTMLタグ想定されていない無効なコンテンツを防ぐ・対象ページ固定ページ・機能カスタムHTMLホームページのカスタマイズのためにカスタムHTMLを使ってページ内のセクションを区切りたいです。	2021-12-03 00:28:07
Ruby	Rubyタグが付けられた新着投稿 - Qiita	部分和問題を動的計画法で解く	https://qiita.com/QUANON/items/b535c164f878e73f631d	しかし、復元テーブルを用いることで具体的な解のひとつを求めることができる動的計画法はテーブルのサイズが大きい場合にメモリを消費するので注意が必要最後に引き続きMoneyForwardEngineeringAdventCalendarをお楽しみください参考記事動的計画法超入門EducationalDPContestのAE問題の解説と類題集典型的なDP動的計画法のパターンを整理PartナップサックDP編意外と解説がない動的計画法で得た最適解を「復元」する一般的な方法書籍なっとくアルゴリズムゆるふわテイストなイラストと文章でアルゴリズムをわかりやすく説明してくれる良書です。	2021-12-03 00:02:23
Ruby	Rubyタグが付けられた新着投稿 - Qiita	【LINE×Rails】Rails初学者も作れるLINE Botアプリケーション	https://qiita.com/tsuchiya_2/items/4e8c038f58c23b57b0be	以下の画像は完成イメージです本記事の全体の流れLINE側の設定Rails側の設定ngrokの立ち上げその他諸々の設定LINE側の設定【大まかな流れ】LINEアカウントを使用してLINEDevelopersにログインプロバイダーの作成MessagingAPIを選択から作成までチェンネルIDとチェンネルシークレットの値を控えるチャンネルアクセストークンを発行して値を控えるLINEアカウントを使用してLINEDevelopersにログインLINEDevelopersにアクセスして、右上にある「ログイン」からLINEアカウントを使用してログインします。	2021-12-03 00:01:29
Ruby	Railsタグが付けられた新着投稿 - Qiita	【LINE×Rails】Rails初学者も作れるLINE Botアプリケーション	https://qiita.com/tsuchiya_2/items/4e8c038f58c23b57b0be	以下の画像は完成イメージです本記事の全体の流れLINE側の設定Rails側の設定ngrokの立ち上げその他諸々の設定LINE側の設定【大まかな流れ】LINEアカウントを使用してLINEDevelopersにログインプロバイダーの作成MessagingAPIを選択から作成までチェンネルIDとチェンネルシークレットの値を控えるチャンネルアクセストークンを発行して値を控えるLINEアカウントを使用してLINEDevelopersにログインLINEDevelopersにアクセスして、右上にある「ログイン」からLINEアカウントを使用してログインします。	2021-12-03 00:01:29
技術ブログ	Mercari Engineering Blog	Build&サマーインターン2021 成果発表会レポート	https://engineering.mercari.com/blog/entry/20211202-8418dee13b/	hellip	2021-12-02 16:17:20
技術ブログ	Developers.IO	[レポート] AWS cybersecurity as a system (sponsored by Sophos) #SEC327-S #reinvent	https://dev.classmethod.jp/articles/reinvent-2021-report-sec327-s/	asystemsponsoredbysophos	2021-12-02 15:35:13
技術ブログ	Developers.IO	Snowflakeでviewが何から作られているかを知るGET_OBJECT_REFERENCESを試してみた #SnowflakeDB	https://dev.classmethod.jp/articles/snowflake-get-object-references/	adventcalendar	2021-12-02 15:30:58
海外TECH	MakeUseOf	The 11 Best Sites to Get College Textbooks Online	https://www.makeuseof.com/tag/top-5-sites-for-college-textbooks/	books	2021-12-02 15:30:12
海外TECH	MakeUseOf	5 Data Science Libaries for Python Every Data Scientist Should Use	https://www.makeuseof.com/data-science-libraries-for-python/	libraries	2021-12-02 15:15:11
海外TECH	MakeUseOf	Megabit (Mb) vs. Megabyte (MB): We Make It Less Confusing	https://www.makeuseof.com/tag/megabit-vs-megabyte/	confusingconfused	2021-12-02 15:05:12
海外TECH	DEV Community	What is ETL and why it’s so important?	https://dev.to/easyawslearn/what-is-etl-and-why-its-so-important-5mj	What is ETL and why it s so important What is ETL ETL stands for Extraction Transform and LoadETL is a process that extracts the data from different source systems then transforms the data like applying calculations concatenations etc and finally loads the data into the Data Warehouse system The full form of ETL is Extract Transform and Load Here is a fully dedicated video on the ETL Process Why do you need ETL ETL tools break down data silos and make it easy for your data scientists to access and analyze data and turn it into business intelligence In short ETL tools are the first essential step in the data warehousing process that eventually lets you make more informed decisions in less time WANT TO LEARN MORE Full Terraform tutorial DevOps Tools like Ansible Docker Tutorial AWS Tutorial GCP Tutorial Jenkins Tutorials Jenkins Pipeline Python Python in just video	2021-12-02 15:28:20
海外TECH	DEV Community	初めてのStripe: 完全にサーバーレスのチケット販売	https://dev.to/aws-builders/chu-metenostripe-wan-quan-nisabaresunotiketutofan-mai-2780	Stripe商品の作成今回のTDFではチケットを種類販売しています。	2021-12-02 15:19:16
海外TECH	DEV Community	Qovery just lost over 3K stars on github by mistake. Hurry up and help them out!	https://dev.to/leviathanprogramming/qovery-just-lost-over-3k-stars-on-github-by-mistake-hurry-up-and-help-them-out-536d	Qovery just lost over K stars on github by mistake Hurry up and help them out What is qovery Qovery is one of the most amazing cloud platforms for easy secure and low cost deployment I just got an email this morning about them losing over K stars on their github repo You can deploy an application of almost any type to AWS Google Cloud Scaleway and DigitalOcean in seconds on qovery If you are having trouble with deployment they re here to help you What happened Someone accidentally exposed a private token key and please never do this turned the entire repository into a private one temporarily After turning a repo private you will lose all stars and social stats All you need to do is go straight over to and give them a simple star so they can recover from this absolute catastrophe Please y all share this post share the repo and bring them back up	2021-12-02 15:18:49
海外TECH	DEV Community	Best Practices to Avoid Memory Leaks	https://dev.to/amoled27/best-practices-to-avoid-memory-leaks-2ibo	Best Practices to Avoid Memory LeaksIn the Previous Blog we understood the Memory management in Node js how Garbage Collector GC works and what are the possible causes of memory leaks despite GC playing a crucial role In this blog let s look at best practices to ensure efficient memory use in Node js REDUCE USE OF GLOBAL VARIABLESSince global variables are never garbage collected it s best to ensure you don t overuse them In javascript particularly you need to keep in mind certain aspects to reduce global variablesAvoid accidental globalsIn Javascript if you assign a value to an undeclared variable Javascript automatically hoists it as a global variable in default mode Also this goes the same with the word this used in functions in the global scope Examples function apple red true this red variable gets hoisted in global space function mango since this in global functions refers to global this varible is hoisted in global spacethis type Alphanso Solution It is helpful to write javascript in a strict mode with use strict annotation at the top of the JS file In newer versions of Node js you can globally enable strict mode by passing use strict flag when running node command use strict function apple red true this will throw an error function mango this function will have its own scope for this this type Alphanso Caution Be careful when you use arrow functions though because even in use strict mode this in arrow function will be in global space This will also become a global variable as arrow functionsconst plantation gt this coconut Brown solution use the no invalid this rule from ESLint to avoid such cases Use global scope wisely As much as possible don t use the global scope make the best use of the local scope inside the functions as that will be garbage collected and will keep memory free Try to define only constants cache and reusable variables in global Mark variables as null whenever the values are not needed Do not use global space as a medium to pass values from one function to other use function parameters instead Dont store big objects in the global scope If you have to store them then nullify them when not needed Dont let cache objects grow indefinitely cleanup once and while Use Stack Memory EffectivelyAccessing stack is much faster than accessing heap memory hence try to use stack variables more frequently than their counterparts This also ensures we don t accidentally cause memory leaks Ofcourse in a real world scenario it s impossible to create a usable application by only using static data But we can follow some tricks to make better use of the stack Avoid heap object references from stack variables when possible Also don t keep unused variables Destructure and use fields needed from an object or array rather than passing around entire objects arrays to functions This avoids keeping a reference to objects inside closures function outer const obj foo bar hello const closure const foo obj myFunc foo function myFunc foo Use Heap Memory EffectivelyIn real world applications it is quite impossible to completely avoid using heap memory but we can make it more efficient by following a few tips copy objects instead of referencing them Pass the reference only if the object is huge and copy operation is expensive Avoid object mutations as much as possible instead use object spread or object assign and create a copy Avoid creating multiple references to the same objectAvoid creating huge object trees else keep them short livedUse APM to track your heap memory usage Be Cautious when using Closures Timers amp Event HandlersFor timers always remember to pass copies of objects to avoid mutations and clear timers when done using clearTimeout and clearInterval methods Also clear listeners once the job is done don t keep them running forever In cases where they are holding on to object reference from the parent scope Originally posted at amodshinde com	2021-12-02 15:10:55
海外TECH	DEV Community	How Much Do Developers at Top Tech Companies Make?	https://dev.to/shaheer912/how-much-do-developers-at-top-tech-companies-make-1lcg	How Much Do Developers at Top Tech Companies Make Developers are the backbone of tech companies These are the people who make sure everything works smoothly You could say they re the heart and soul of any company s success Every step of the software development process is done by developers from planning to coding to testing They work in one or more programming languages that help them create websites apps games and other software technologies Between and the median pay for software developers rose from k to k in the U S But how does this compare to other industries In Software Developers earned a median salary of which is more than twice the national average of Tech companies are also boosting their salaries with stock options bonuses and perks like free food or Google s famous time It s hard to know where your salary ranks when applying for a job in tech because most job sites don t list salaries by company We compiled data from top tech companies with the highest salaries to give you an idea of what you can expect if you re looking into a new career path in tech How much do they make All developers are not created equal Some of them are better than others and some have more experience For example one developer might be able to make per year while another might only make It s really about the kind of work that you do The more complex your work is the more you ll get paid This is what you need to know if you want to become a developer The average salary for a developer is A senior software engineer can make anywhere from per yearA senior web developer can make between k k per yearAn entry level web developer can make between k k per year What is the median salary for a software developer The U S Bureau of Labor Statistics lists the median salary for software developers at in Software developers make more than twice the national average and rank among the highest paid workers in America Software developers can find work at a variety of companies and organizations and make a median salary of But what does this mean to you It means that if you re currently earning per year as a software developer at a small company you could easily apply to larger firms with greater earning potential Or if you re not currently employed but want to break into the industry it may be worth considering applying for jobs at these top paying companies Facebook Median annual salary is Google Median annual salary is Amazon Median annual salary is Apple Median annual salary is What is the most and least you can make as a software developer The most you can make in the U S with a salary is with stock options and with no stock options The least you can make is with no stock options or with stock options What languages do developers work in Developers work in one or more programming languages that help them create websites apps games and other software technologies There are many programming languages for developers to choose from But not all of them are applicable to every situation Before you start learning a new language it s important to understand what your strengths are and where you want to go with your career Every developer has a specialty They often specialize in a certain type of programming language or technology These are some of the most in demand programming languages for developers Java C Python PHP Ruby on Rails JavaScript C If you want to become a developer at a top tech company like Google or Facebook then you need to know these languages What do developers work on Developers work on the back end and front end of projects The back end is the less glamorous part of a project where it does the heavy lifting behind the scenes like data storage and database management while the front end is what users see when they interact with the program like graphics and features Different types of developers Front End Developer Creates things that users can see on screens graphics features etc Back End Developer Creates code that manages data storage and database management for a project How can I become a developer at a top tech company In order to become a developer at a top tech company you need to start learning the languages they use If you want to work for Facebook or Google then you ll need to know Java and JavaScript And if you want to work for Apple then you ll need to have a solid understanding of Objective C and Swift You can also learn the skills necessary by going through a coding bootcamp There are many great schools that offer short courses in these programming languages You ll get a crash course in these languages and be prepared for the job market once your class is over A lot of developers learn on the job while working at different companies but this can be difficult because it s hard to find an employer who will let you work on their specific projects while learning on the job Some employers require that you come in with specific knowledge like knowing Python syntax before they hire you It s best if you start learning now so that when it comes time for interviews your skills are up to par and ready But knowing the skills needed in the job are not enough you also need to be prepared for the interview Fortunately we can help you in that regard check out JudoCoder com ConclusionThe tech industry is booming and pays well It s also a hub for innovation and entrepreneurship If you re considering the tech industry you should know that there are many ways to make good money in this field especially if you work for one of the companies listed above You can make anywhere from to in the tech industry even if you are just starting out and not to mention the perks and stock options that come along with it So if you are interested in working at top tech make sure you are prepared for a technical interview The good news is JudoCoder com provides handpicked selection of all sorts of data structures and algorithm questions most of these questions have been asked in a real interview I would suggest you create a free account at judocoder com and start practicing your skills You will be prepared in no time No matter what you do make sure you practice You ll be happy you did when it s time for your interview Let me know what do you think Is this an accurate representation of what you can expect to make at top tech companies Let me know your comments I would love to hear what you have to say	2021-12-02 15:08:47
海外TECH	DEV Community	Best Practices for Node.js Development	https://dev.to/amoled27/best-practices-for-nodejs-development-5ao5	Best Practices for Node js DevelopmentThe popularity of Node js is growing at a rapid pace with more and more unicorn companies adapting to the technology it has become very crucial to follow certain conventions to make code readable and modifiable by other developers The code you write is also directly proportional to the scalability of the product you ultimately build Best Practice Choose a Layered Approach Separation of your concernsPopular Node js frameworks like Express js allow you to define routes as callback functions that are executed when a client request is received This gets you tempted to write all the business logic under a single function which unknowingly escalates to a messy code that is difficult to interpret for a human being Thus this should be implemented keeping in mind the Separation of concerns principle of programming According to this principle we should have distinct modules addressing distinct concerns in the application The server side aspects are broadly divided asThese aspects can be handled by programming three different layers Controller API routes amp endpointsService Layer For business logicData Access Layer For working with database Controller layerIn this module you only write API routes In the route handler function you can deconstruct the request object from HTTP to get params query params payload etc and pass them to the service layer for processing Service layerThis layer houses the business logic This contains all the methods that take up singular responsibility and are reusable Data Access layerThe main role of this layer is talking to the Database Fetching from updating writing to it All DB connections models ODM ORMs are defined here Best Practice Folder Structure Properly organize your code filesIn the previous section we spoke about how to logically modularize a project into layers To get this abstract architecture in play we need a proper folder structuresrc ├ー app js app entry point ├ー api controller layer api routes ├ー config config settings env variables ├ー services service layer business logic ├ー models data access layer database models ├ー scripts miscellaneous NPM scripts ├ー subscribers async event handlers └ー test test suitesHere apis controller layer services and models data access layer are the three layers we spoke about config layer can store your constants and app configurations settings like environment variables etc scripts directory can be used to store automation scripts like deployment pipelines tests will house the test cases you write for the application Best Practice Publisher subscriber modelsThe Publisher Subscriber models can be used for communication between two entities in your code Publishers Message Senders send out messages along specific channels without having knowledge of who the receiving entities are Similarly Subscribers receiving entities on other hand listen to one or more channels without the knowledge of publishing entities It is a good practice to implement this model in your project to manage multiple children operations corresponding to a single action Let consider an example where in your app on user sign up you do numerous things like create a DB entry generating an Auth key sending a confirmation email If you handle this in a single service function the function code tends to get lengthy and messy the structure of the code would look like export default class AuthService async function signup user create DB entry generate auth key send confirmation email We can very well simplify this with pub sub model Pub sub model can use Node js Events APIvar events require events var eventEmitter new events EventEmitter export default class UserService async function signup user emit signup event eventEmitter emit signup user data To handle such events emissions you can have multiple subscribers that are essentially event listeners waiting for certain events to be emitted These subscribers can be organized into separate files based on their purpose and stored in the subscribers directory email js eventEmitter on signup async data gt event listener send email auth js eventEmitter on signup async data gt event listener generate auth key Best Practice Clean Code amp Easy Readability Use code linters formatters amp commentsLinting amp FormattingThe main goal here is improving code quality and readability A linter warns you about syntactic errors sometimes even semantic whereas code formatted styles the code in a more readable way Some of the popular linters for javascript are Jslint and Eslint For code formatting Prettier is a well known code formatter Plugins for these linters and formatters are available in most of the code editors like Atom and VS code Adding CommentsWhen writing code it is important for a developer to write proper comments so that the team working on the project can benefit A proper yet short comment explaining the functionality of the code can save much confusion and time for peer developers and ultimately the time of the entire team The screenshot below shows one of the examples of a proper comment Proper nomenclature of functions variables and constantsThe function variables and constants names that you define should indicate the use or significance of that function variable constant Poor nomenclature of the variables can create confusion among the team members and peer developers Proper naming also helps you to recognize the functions when checking memory snapshots How not to write function name Here we are not clear about what kind of items have been defined in the items array moreover items is a common term that is likely to be used frequently This is an example of bad nomenclature The function name too doesn t go with the functionality of the method Like the function can both mark items available and unavailable so naming it makeAvailable doesn t seem to be right The parameter n inside the function is just a letter n and doesn t tell what it signifies Better code would be Best Practice Write Asynchronous code Use Promises Async Await Javascript is quite known for callback functions They allow you to define the asynchronous behaviour in javascript But with more and more callbacks in the code the code gets clunkier resulting in what is known as callback hell Javascript introduced promises in which is a much cleaner way to handle asynchronous behaviour Furthermore in the async await syntax was introduced to further simplify things Therefore it s advisable to scrap the use of callback functions and choose promises or async await These syntaxes make the code more readable and easier to look at the code flow and debug Just as an example this is how the same code would look in callbacks vs the async await With callbacks With Async Await Code with async await syntax does the exact same computation as the callback one but is much easier to read and debug Best Practice Testing Logging amp Error HandlingTestingIt s quite common for newbies to overlook the importance of writing test cases for the code However writing test cases is as important as writing the code as it checks the validity and accuracy of the code by bringing to light even the smallest inaccuracies Unit tests form the foundation of most testing setups Here individual units components are tested in isolation from the rest of the code to verify their correctness This allows your code to be validated at the logically lower level to ensure that each of the internal components is working accurately as expected LoggingLogging is a crucial part of the development process as it helps track down the errors in case of failures This helps you record your important information and analyse various aspects of it with respect to accuracy and performance metrics It helps you manage the application better and helps in debugging you can read more about logging in Node js and recommended libraries here Catching ErrorsThe errors provide relevant information on what went wrong in the code and possibly where it went wrong But instead of Node js throwing errors interrupt code execution or even fail sometimes it s better if we take control by handling error conditions We can achieve this through try catch blocks In such a way we can keep things simple stable and easier to debug as well as prevent poor user end experience try if somethingHappened throw Error Message catch err console log e finally console log Finally Executed Best Practice Third party solutions Don t Reinvent the wheel Dont overdo eitherNode js has a huge developer community across the world As far as third party support is concerned Node s package manager NPM is full of feature rich well maintained well documented frameworks libraries and tools for any use case you can imagine It is therefore very convenient for developers to plug these existing solutions into their code and make the most of their APIs While these libraries and tools ease off a lot of the burden it is important to be intelligent and responsible about every package that we import We should be aware of the purpose strengths and weaknesses of each package we import and ensure that we aren t over reliant on them Originally posted at amodshinde com	2021-12-02 15:03:56
海外TECH	DEV Community	Heard about web.dev from Google?	https://dev.to/trishiraj/heard-about-webdev-from-google-536a	Heard about web dev from Google I might be wrong but I think this product from google should get more attention from the general public who are trying to get into web development but are scrambled to get the basics right This website has a collection of exactly that Never saw this before until I stumbled upon it in Google Developers Products As seen in the image The bottom right one should take you to web dev Once you head over there you ll realize that there s a Huge collection of courses that should get your basics for Web development strong and further help you improve and make the right decision with your websites At first I thought to myself that this might actually be some sort of paid course but they are all absolutely free and each of them are few minutes of read with appropriate code snippets inside them to help you understand the concepts Something like thisMaybe its worth a shot to check it out yourself	2021-12-02 15:02:53
海外TECH	Engadget	Uber's audio recording safety feature is coming to the US	https://www.engadget.com/uber-safety-features-audio-recordings-ridecheck-seat-belt-152849633.html?src=rss	Uber x s audio recording safety feature is coming to the USUber has announced more safety features for the platform The company already allows drivers and passengers in countries to record the audio of their rides and now the feature is coming to the US It will pilot audio recordings in three US cities starting later this month Before they get in a car riders will see in the Uber app whether their driver has opted into audio recordings ーyou can cancel the ride if you don t want to be recorded You can capture audio by tapping the shield button on the app s map screen and choosing the Record Audio option Everyone can record individual trips and drivers have the choice to leave the feature on the entire time they re available for rides Although the recordings are stored on riders and drivers devices they won t be able to listen to them The recordings are encrypted and Uber says it can t access them unless a driver or rider submits a safety report with an attached audio file A safety agent can decrypt and listen to the recording when they review the report and then take appropriate action if necessary Uber debuted the feature in Latin America two years ago It says almost percent of drivers and riders surveyed in Rio de Janeiro felt safer when using it In addition Uber plans to remind riders to buckle up with audible seat belt alerts at the start of a trip The driver s phone will provide the audio reminder and the rider will see a notification on their own device Uber says it will roll out the feature across the US in early On top of that Uber has upgraded its RideCheck feature which arrived in and uses GPS and sensors in the driver s phone to detect possible crashes and abnormally long stops The feature can now identify when a trip unexpectedly goes on a different route or ends before the destination the rider entered into the app If RideCheck flags a possible problem Uber will ask the rider and driver if everything is in order via a notification If not they can tap the emergency button or report the problem to Uber	2021-12-02 15:28:49
海外TECH	Engadget	Rocket Lab details its reusable Neutron launch vehicle	https://www.engadget.com/rocket-lab-neutron-details-150747277.html?src=rss	Rocket Lab details its reusable Neutron launch vehicleRocket Lab is finally shedding more light on its next gen Neutron vehicle The company has provided multiple details making clear the rocket is built for reusability from the ground up It ll center on Archimedes a meganewton liquid oxygen methane engine built to be used many times over And with a lighter carbon composite body the companydoesn t need many ーseven Archimedes engines power the first stage while the second stage just needs one Neutron could also put an end to tossing away or trying to recover the fairings that protect the payload The rocket will have a quot Hungry Hippo quot fairing that s part of the first stage design ーthey simply open when releasing the second stage and close again when it s time to land That should save money as you might guess but it also promises faster turnaround times and lighter second stages The tapered shape of the rocket itself is built for reusability with a wider more stable base Neutron won t need a launch tower or girder to take off Rocket Lab said The company previously said the machine could carry up to eight metric tons to low Earth orbit versus the Electron s modest tons lbs Any practical uses are still distant Rocket Lab said it was still in the midst of a quot competitive process quot to pick a production facility launch site and engine test facility on the US East coast The firm previously said it hoped for a first flight in Even so the new details are important ーthey hint at a future where Rocket Lab carries more and more varied payloads at lower costs making space that much more accessible	2021-12-02 15:07:47
金融	RSS FILE - 日本証券業協会	PSJ予測統計値	https://www.jsda.or.jp/shiryoshitsu/toukei/psj/psj_toukei.html	統計	2021-12-02 16:00:00
金融	RSS FILE - 日本証券業協会	株券等貸借取引状況（週間）	https://www.jsda.or.jp/shiryoshitsu/toukei/kabu-taiw/index.html	貸借	2021-12-02 15:30:00
ニュース	BBC News - Home	Meghan wins ruling in Mail on Sunday privacy fight	https://www.bbc.co.uk/news/uk-59502787?at_medium=RSS&at_campaign=KARANGA	sussex	2021-12-02 15:31:45
ニュース	BBC News - Home	Covid bereaved families 'sickened' over No 10 Christmas party	https://www.bbc.co.uk/news/uk-politics-59505975?at_medium=RSS&at_campaign=KARANGA	gathering	2021-12-02 15:44:09
ニュース	BBC News - Home	Storm Arwen: Thousands still without power six days after storm	https://www.bbc.co.uk/news/uk-59506359?at_medium=RSS&at_campaign=KARANGA	downing	2021-12-02 15:47:55
ニュース	BBC News - Home	UK plays down Brexit link in US steel tariff row	https://www.bbc.co.uk/news/business-59506556?at_medium=RSS&at_campaign=KARANGA	brexit	2021-12-02 15:34:25
ニュース	BBC News - Home	Women's Six Nations to remain in own dedicated window in 2022	https://www.bbc.co.uk/sport/rugby-union/59510126?at_medium=RSS&at_campaign=KARANGA	Detail Nothing	2021-12-02 15:39:40
ニュース	BBC News - Home	Omicron: How do you detect it?	https://www.bbc.co.uk/news/health-59460252?at_medium=RSS&at_campaign=KARANGA	analysis	2021-12-02 15:23:57
サブカルネタ	ラーブロ	特製ラーメン はせがわ＠新所沢（埼玉県）　「こってりラーメン」	http://ra-blog.net/modules/rssc/single_feed.php?fid=194218	新所沢駅	2021-12-02 15:01:00
北海道	北海道新聞	ＮＹ原油、一時６２ドル台　ＯＰＥＣプラス受け下落	https://www.hokkaido-np.co.jp/article/618536/	続落	2021-12-03 00:17:00
北海道	北海道新聞	産油国、増産計画を維持　新変異株出現も消費国配慮	https://www.hokkaido-np.co.jp/article/618518/	石油輸出国機構	2021-12-03 00:02:11
北海道	北海道新聞	中国とアフリカ、連携確認　五輪開催で支持取り付け	https://www.hokkaido-np.co.jp/article/618530/	中国外務省	2021-12-03 00:10:00
北海道	北海道新聞	米ロ、ウクライナ巡り応酬　侵攻なら「深刻な結果」	https://www.hokkaido-np.co.jp/article/618529/	国務長官	2021-12-03 00:02:00
北海道	北海道新聞	詐欺容疑で男２人逮捕　旭川東署	https://www.hokkaido-np.co.jp/article/618528/	上川管内	2021-12-03 00:01:00