投稿時間:2021-08-13 05:34:13 RSSフィード2021-08-13 05:00 分まとめ(34件)

カテゴリー等	サイト名等	記事タイトル・トレンドワード等	リンクURL	頻出ワード・要約等/検索ボリューム	登録日
AWS	AWS DevOps Blog	Introducing public builds for AWS CodeBuild	https://aws.amazon.com/blogs/devops/introducing-public-builds-for-aws-codebuild/	Introducing public builds for AWS CodeBuildUsing AWS CodeBuild you can now share both the logs and the artifacts produced by CodeBuild projects This blog post explains how to configure an existing CodeBuild project to enable public builds AWS CodeBuild is a fully managed continuous integration service that compiles source code runs tests and produces software packages that are ready to …	2021-08-12 19:57:10
AWS	AWS The Internet of Things Blog	Build your pool water temperature monitoring solution with AWS	https://aws.amazon.com/blogs/iot/build-your-pool-water-temperature-monitoring-solution-with-aws/	Build your pool water temperature monitoring solution with AWSI live in Toulouse in the south of France where the climate is classified as humid subtropical climate Cfa in the K ouml ppen climate classification This is why swimming pools are so common here My household is no exception But as a geek I also wanted to monitor the temperature of my swimming pool consult real time …	2021-08-12 19:24:35
AWS	AWS	Anatomy of a Bundesliga Match Fact powered by AWS | Amazon Web Services	https://www.youtube.com/watch?v=qMi3WnB7AWk	Anatomy of a Bundesliga Match Fact powered by AWS Amazon Web ServicesWe don t want to get overly emotional here but as we enter the third season of our Bundesliga partnership we can t help but feel like a proud parent when we look at how far we have come in helping innovate the sport with match data processing Bundesliga s player tracking technology uses cameras located throughout the stadium that registers the exact location of each player in any given match We use those over million positions of players in action on the field in real time to produce the Match Facts that display for fans during games Plus this season we will add four more Bundesliga Match Facts to go along with our current batch to help the fans around the world understand what is the story behind the action on the pitch and the players making a difference in real time Learn more about AWS and Bundesliga Subscribe More AWS videos More AWS events videos ABOUT AWSAmazon Web Services AWS is the world s most comprehensive and broadly adopted cloud platform offering over fully featured services from data centers globally Millions of customers ーincluding the fastest growing startups largest enterprises and leading government agencies ーare using AWS to lower costs become more agile and innovate faster Bundesliga AWS AmazonWebServices CloudComputing	2021-08-12 19:35:52
Program	[全てのタグ]の新着質問一覧｜teratail（テラテイル）	json、jinja2のコード(サイトから全コピペ)でHTMLを出力したいのですが、エラーになってしまいます。	https://teratail.com/questions/354050?rss=all	json、jinjaのコードサイトから全コピペでHTMLを出力したいのですが、エラーになってしまいます。	2021-08-13 04:58:22
Program	[全てのタグ]の新着質問一覧｜teratail（テラテイル）	2つのfor文を1つのfor文に置き換えたい。もっとカッコいいコードを書きたい	https://teratail.com/questions/354049?rss=all	つのfor文をつのfor文に置き換えたい。	2021-08-13 04:17:27
Docker	dockerタグが付けられた新着投稿 - Qiita	Ubuntu20.04にnvidia-docker runtimeをインストールする	https://qiita.com/routerman/items/327df977402f0cede0cc	Ubuntuにnvidiadockerruntimeをインストールする前提条件UbuntuにNVIDIAGPUドライバをインストールdockerがインストールされていること公式distributionetcosreleaseechoIDVERSIONIDampampcurlsLsudoaptkeyaddampampcurlsLdistributionnvidiadockerlistsudoteeetcaptsourceslistdnvidiadockerlistcurlsLdistributionnvidiacontainerruntimelistsudoteeetcaptsourceslistdnvidiacontainerruntimelistsudoaptgetupdateysudoaptgetinstallynvidiadockersudosystemctlrestartdockerイメージは公式のdockerhubから選ぶ。	2021-08-13 04:03:23
海外TECH	Ars Technica	There’s new evidence of a large cold spot partly causing dimming of Betelgeuse	https://arstechnica.com/?p=1786831	supergiants	2021-08-12 19:38:46
海外TECH	Ars Technica	This teardrop trailer could be perfect for electric vehicle camping	https://arstechnica.com/?p=1786860	battery	2021-08-12 19:20:18
海外TECH	Ars Technica	Hacker is returning $600M in crypto, claiming theft was just “for fun”	https://arstechnica.com/?p=1786849	hacker	2021-08-12 19:01:09
海外TECH	DEV Community	Everything you need to know about AdonisJs	https://dev.to/tngeene/introduction-to-adonisjs-4a1f	Everything you need to know about AdonisJsWhen we talk about modern software development it s hard to overlook the role of JavaScript With so many frameworks to choose from choosing the perfect one is often a conundrum that many newbie developers and experienced ones face when they want to learn new skills In this series I will highlight why you should go with AdonisJs By the end of the tutorial I believe you will be able to handle most if not all of the common tasks involved in any backend application Table Of ContentWhat is AdonisJs Why Use AdonisJs Series OutlinePrerequisitesCommunities and Resources in AdonisJs What is AdonisJs Some of you are wondering what in the world is AdonisJs in the first place AdonisJs describes itself as a backend framework for Node js However you can do both back end and front end development using the framework It follows the Model View Controller MVC  architecture therefore you can create fully functional web apps using a single framework It has its own templating engine called edge It was created by Aman Virk Why AdonisJsA couple of weeks ago I started using the framework Being torn between express and Adonis I finally swayed the Adonis way The reason for this is It has a robust Object Relational Mapping ORM which provides first class support for SQL databases Query builder with active records seeds migrations and Redis support This to me was the biggest factor in choosing it as I didn t have to go through the extra step of manually configuring the ORM Typescript support outside the boxWell written and thorough documentation You can build a web app by just using the documentation Multi driver auth support which lets you choose between JWT session and opaque API tokens It is easy to set up and use It follows good design patterns on what should encompass a web framework Strong emphasis on web securityA growing community I personally see Adonis cementing itself as a top backend framework in the next couple of years I could go on and on about why I like the framework but for that I ll link some communities at the end of the post for you to have a look at the discussions around it OutlineBefore we make any development I ll highlight what we ll be building and the requirements you ll need to set up an Adonis project We re going to be making a sports apparel store called FitIt The goal of the series is to highlight a couple of concepts that are important in your journey to becoming a top notch Adonis developer The store will be multi tenant meaning users can own different stores and post their gear for that particular shop The Database model is illustrated below TopicsThese are the features we ll be going over which are essential to understand while working on any project Installation and setup using typescript Login and registrationDifferent authentication schemesAccount activationsocial signupRelationshipsone to manymany to manyCRUD operationsPaginationFiltersFile uploadsValidatorsSuccess and error messagesSlug systemLifecycle hooksEvents in AdonisJsMailingDatabase SeedersHook up to vue js frontend Deployment PrerequisitesNode js  AdonisJS is a Node js framework and hence it requires Node js to be installed on your computer To be precise we require at least the latest release of Node js A package manager I will be using npm However you can use yarn A code editor My go to editor is Visual Studio Code Communities and ResourcesIf you ve made it this far then I m sure I ve picked your interest in learning this framework AdonisJs has a growing community where you ll get assistance in your journey For more info on the framework you can check out AdonisJS DiscordTwitter accountOfficial Github Repoofficial DocumentationYou can also follow me on dev as well as check out my personal website where I ll be writing more on Adonis and full stack development	2021-08-12 19:43:32
海外TECH	DEV Community	ระบบลงทะเบียน ใช้ Firebase ดีไหม?	https://dev.to/domecloud/firebase-2i3b	ระบบลงทะเบียนใช้Firebase ดีไหม สวัสดีครับผมนเรศ หรือว่าเรียกสั้นๆว่านเรศเฉยๆก็ได้วันนี้ผมจะมาวิเคราะห์ระบบลงทะเบียนสำหรับการฉีดวัคซีนฟรีเพื่อเป็นกรณีศึกษาครับเนื่องจากDomeCloud ได้เสนอตัวเพื่อทำระบบการลงทะเบียนเพื่อฉีดวัคซีนซิโนฟาร์มฟรีให้กับจังหวัดชลบุรีโดยเป็นหนึ่งในการทำระบบเพื่อสังคมไม่ต้องเสียค่าใช้จ่ายใดๆให้DomeCloud ถ้ามีใครสนใจอยากสอบถามถามไปที่Inbox page DomeCloud Facebook ได้เลย โดยส่วนตัวผมเองผมมักจะพูดถึงการทำระบบลงทะเบียนต่างๆที่ไม่สามารถรองรับผู้ใช้งานได้ว่า ทำเว็บสวยๆแล้วใช้ไม่ได้ทำทำไม ซึ่งกรณีนี้อยากจะสื่อความว่าเว็บสวยๆทำงานมันก็แค่Static file ทำให้มันล่มยากกว่าอีกแต่ แต่การทำเว็บแบบStatic มันก็ไม่ได้ตอบโจทย์ของระบบการลงทะเบียนอะไรเหล่านี้มันก็จริงอยู่ว่าทำเป็นSPA Single Page Application มันก็Static file นี่ ใช่แต่ แต่อีกแล้วคือหน้าเว็บเองมันStatic แหละแต่ข้อมูลมันไม่Static โดยธรรมชาติของระบบลงทะเบียนข้อมูลต่างๆมันจะเก็บลงฐานข้อมูลเข้าเรื่องเลยการออกแบบระบบนี้อาศัยความขี้เกียจออกแบบระบบไว้ประมาณนี้เราเลือกใช้Firebase สำหรับงานBackend เพราะว่าทำให้สามารถสร้างระบบการลงทะเบียนขึ้นมาได้ง่ายแบบง่ายมากไม่ต้องดูแลBackend ของตัวเองมีแค่Static file ที่เราคิดว่าดูแลเองง่ายกว่า เพราะว่าเคยเจอปัญหาตอนฝากไฟล์ไว้ที่Cloudflare แต่พอใช้งานจริงมันไม่ง่ายอย่างที่คิดหลังจากที่ออกแบบและสร้างมันขึ้นมาแล้วผมก็ได้ทำการโหลดเทสระบบโดยเทสไปที่แค่ส่วนของStatic file หรือหน้าเว็บที่เราสร้างมาเพื่อดูว่าเราสามารถรองรับการใช้งานได้ที่เท่าไหร่ผลโหลดเทสแรกๆเลยตามภาพข้างบนเราใช้Cloudflare Proxy ที่Cloudflare เลยผลโหลดเทสออกมากระจอกมากได้ที่ประมาณ Request per sec อันนี้ผมคิดว่าอาจจะเป็นLimit ฝั่งCloudflare จากนั้นนำเสนอข้อมูลการโหลดเทสไปยังที่ประชุมว่าได้ที่ RPS เพราะCloudflare มันLimit ไว้แต่ที่ประชุมบอกว่ามันน้อยเกินไปผมเลยปลดCloudflare Proxy ให้ใช้เป็นDNS Only แล้วยิงโหลดเทสใหม่ผลคือได้ประมาณ RPS อันนี้เป็นอีกโดเมนหนึ่งซึ่งเป็นของเทศบาลตำบลเสม็ดจังหวัดชลบุรีที่ยิงไปตรงๆแบบHTTPผลทดสอบแบบHTTPSจากผลการทดสอบทั้งของจังหวัดและเทศบาลพอจะสรุปได้คร่าวๆว่าHTTP เรารับได้มากกว่า Request per sec แน่ๆและถ้าเราTerminate HTTPS เองจะได้ราวๆ Request per sec ตัวเลขทั้งสองค่าทั้งHTTP HTTPS ผมค่อนข้างพอใจกับตัวเลขนี้คิดว่าคนจังหวัดชลบุรีไม่น่าจะใช้เกินนี้เลยสรุปกันกับทีมว่าจะใช้Cloudflare เป็นDNS Only เท่านั้นเพราะที่ประชุมเห็นตัวเลขว่ารับได้มากกว่าการโหลดเทสทีมไม่ได้โหลดเทสไปยังFirebase เพราะเราเชื่อว่าGoogle จะสามารถรองรับผู้ใช้งานให้เราได้เราใช้Firebase Realtime Database ในการเก็บข้อมูลและเช็คว่ามีการลงทะเบียนครบหรือยังถ้าครบแล้วจะปิดการลงทะเบียนอัตโนมัติจากการออกแบบที่ความไว้ใจFirebase เราก็ชะล่าใจไประดับหนึ่งแต่ก็คิดว่ายังไงมันก็อาจจะเกินโควต้าฟรีของFirebase ก็เลยไปเพิ่มแพลนของFirebase เป็นPay as you go วันที่ระบบขึ้นใช้งานจริงตอนวันที่ สิงหาคม เวลาท้องถิ่น น ผมซึ่งคืนก่อนหน้านั่งทำระบบLogging Server ไปนอนตอนตีห้าป่านน้องในทีมแชทมาว่าระบบเริ่มหน่วงผมก็คิดว่าไม่น่าจะมีปัญหาอะไรเลยตอบแชทไปและนอนต่อผ่านไปไม่ถึงห้านาทีป่านโทรมาบอกว่าล่มแล้วหน่วงมากใช้งานไม่ได้ผมลุกจากที่นอนทันทีจากนั้นสิ่งแรกที่ทำคือให้Cloudflare Proxy และแคชให้ด้วยเลยแต่ว่าเจอปัญหาต่อมาเราเชื่อในCloudflare มากว่ามันเก่งแต่ลืมคิดไปว่ามันก็มีLimit ของมันพอผมเจอปัญหานี้เลยกดจ่ายเงินไป ตัดบัตรพี่โดม สำหรับPro Plan ราคา ต่อเดือนแต่ว่าเกิดปัญหาขึ้นว่าตัวCloudflare เองมันแคชDashboard มันเองด้วย สัสคิดในใจ ผมคิดว่าแย่ละPro Plan ไม่เพียงพอเลยกดเพิ่มเป็นBiz Plan บวกเพิ่มไปอีก ต่อเดือน รวม ที่กดไป หลังจากกดไปแล้วมันเหมือนเดิม เอ๊ะ เอ๊ะะะะะ อีหยังวะทำไมCloudflare มันไม่อัปเกรดให้ระหว่างนี้คือผ่านไปราวๆครึ่งชั่วโมง ณ ผมยังคงเห็นCloudflare return กลับมาว่าติดRate Limit อยู่เลยจากนั้นก็ได้รับแจ้งมาว่าคนลงทะเบียนครบแล้วคือรอบแรกจะให้ลงทะเบียนราวๆ คนมั้งประมาณนั้นแต่พอคงลงเต็มไปแล้วระบบยังได้รับข้อมูลเข้ามาเรื่อยๆจบที่ราวๆ คนจากกราฟจะเห็นว่าตอนช่วงเริ่มเปิดให้ลงทะเบียนจะมีRequest พุ่งไปที่ประมาณ Request per sec ซึ่งมากกว่าที่เราโหลดเทสราวๆ เท่า โหลดเทสที่ request per sec ผลก็คือหน้าเว็บมันไม่แสดงผลแบบสมบูรณ์แต่ว่าใช้cURL ทดสอบเรียกหน้าเว็บจะได้ OK นะแต่ว่าเราออกแบบหน้าเว็บไว้ให้เช็คว่าลงทะเบียนครบหรือยังทำให้ยังมีRequest ไปทีFirebase Realtime Database อยู่ซึ่งตัวFirebase เองมันคิดค่าData Transfer ด้วย เหี้ย แล้วเรา โดนData Transfer ไปราวๆ TB คิดเป็นเงินราวๆ หรือราวๆ บาทโดยประมาณจากการเปิดใช้งานระบบ ชั่วโมงข้อมูลจากCloudflare ปัญหาปัญหาที่เราเจอคือจากCloudflare มาหาOrigin Server ของเราBandwidth เต็ม เราเลยให้Cloudflare Cache ให้แต่ว่าปัญหามันไม่ได้จบที่ตรงนั้นหลังจากโหลดไฟล์ไปครบจากฝั่งCloudflare แล้วปัญหาต่อมาคือFirebase Realtime Database มันResponse ช้าทำให้หน้าแรกโหลดไม่สมบูรณ์เพราะรอข้อมูลจากFirebase ซึ่งเราทำอะไรไม่ได้เลยณเวลานั้น สรุปFirebase ใช้งานได้ดีถ้าไม่ได้ใช้มากจนเกินไปแต่การเขียนQuery ฝั่งFirebase ต้องคำนึงถึงData Transfer ด้วยเพื่อลดค่าใช้จ่ายที่จะเกิดขึ้นแผนต่อไปของการลงทะเบียนผมได้ออกแบบแนวทางไว้แล้ว ทางไว้จะมาเล่าต่อรอบหน้า	2021-08-12 19:14:22
海外TECH	Engadget	Microsoft rolls out updated Mail, Calendar and Calculator apps to Windows 11 testers	https://www.engadget.com/microsoft-updates-windows-11-mail-calendar-calculator-apps-190448163.html?src=rss	Microsoft rolls out updated Mail Calendar and Calculator apps to Windows testersMicrosoft is updating some of the apps that come preloaded with Windows To start you ll find a new version of the Snipping Tool that borrows a handful of features from Microsoft s Snip amp Sketch app Press the “Win “Shift and “S keys on your keyboard simultaneously to activate the software and then select the part of your screen you want to capture Once you ve snapped a screenshot you ll find various tools that allow you to edit and annotate the image With Windows the Snipping Tool also finally includes a dark mode and you can set it independent of your system theme MicrosoftMicrosoft is also updating the Mail and Calendar apps in Windows You ll notice they now feature rounded corners “and other adjustments that should help make them feel more like a natural extension of the operating system Last but certainly not least the humble calculator app has received some love from Microsoft It too now includes a dark mode you can set independent of Windows The company has also rewritten the software in C in hopes of more people contributing to its development over on GitHub According to Dave Grochocki a senior program manager lead for Windows inbox apps Microsoft plans to release “even more updates to the apps that come in Windows Look for previews of those to arrive before the company releases Windows later this year In the meantime you can test the newly updated apps if you re in the Windows Insider Dev Channel	2021-08-12 19:04:48
海外科学	NYT > Science	Are Delta Symptoms Different?	https://www.nytimes.com/2021/08/12/well/live/delta-variant-symptoms.html	covid	2021-08-12 19:25:55
海外科学	NYT > Science	F.D.A. Approves GHB, a ‘Date Rape’ Drug, for Rare Sleeping Disorder	https://www.nytimes.com/2021/08/12/health/GHB-hypersomnia-sleep-FDA.html	F D A Approves GHB a Date Rape Drug for Rare Sleeping DisorderJazz Pharmaceuticals brought in more than billion last year selling GHB to narcolepsy patients With the new approval sales could soar	2021-08-12 19:07:17
海外科学	NYT > Science	Why Not Just Tell Everyone to Wear Masks?	https://www.nytimes.com/2021/08/12/health/covid-masks-cdc.html	advice	2021-08-12 19:10:14
ニュース	BBC News - Home	Afghanistan: UK troops sent to get Britons out as Taliban advances	https://www.bbc.co.uk/news/uk-58195286	taliban	2021-08-12 19:48:53
ニュース	BBC News - Home	Emergency services respond to incident in Keyham in Plymouth	https://www.bbc.co.uk/news/uk-england-devon-58189679	advice	2021-08-12 19:56:10
ニュース	BBC News - Home	Afghanistan: Major cities fall to Taliban amid heavy fighting	https://www.bbc.co.uk/news/world-asia-58184202	ghazni	2021-08-12 19:52:27
ニュース	BBC News - Home	UK inhaler firm Vectura backs £1bn bid by Marlboro-maker	https://www.bbc.co.uk/news/business-58193391	carlyle	2021-08-12 19:26:59
ビジネス	ダイヤモンド・オンライン - 新着記事	水が汚い海水浴場が多い都道府県ランキング2021、3位新潟、2位愛知、1位は？ - ニッポンなんでもランキング！	https://diamond.jp/articles/-/278484		2021-08-13 04:55:00
ビジネス	ダイヤモンド・オンライン - 新着記事	水が汚い海水浴場が多い都道府県ランキング2021【完全版】 - ニッポンなんでもランキング！	https://diamond.jp/articles/-/278483	化学的酸素要求量	2021-08-13 04:55:00
ビジネス	ダイヤモンド・オンライン - 新着記事	自民党総裁選に新たな立候補者、出馬巡りちらつく大物議員の影 - 永田町ライヴ！	https://diamond.jp/articles/-/278571	五輪招致	2021-08-13 04:52:00
ビジネス	ダイヤモンド・オンライン - 新着記事	ヤマトと佐川と日本郵便がアマゾンに振り回される、宅配危機の全内幕 - 潜入ルポamazon帝国	https://diamond.jp/articles/-/278806	amazon	2021-08-13 04:50:00
ビジネス	ダイヤモンド・オンライン - 新着記事	日米の「薄汚い自由貿易協定」がいまだたなざらしの裏事情 - 政策・マーケットラボ	https://diamond.jp/articles/-/278730	通商交渉	2021-08-13 04:45:00
ビジネス	ダイヤモンド・オンライン - 新着記事	早慶上理・GMARCH・関関同立の「真の実力と人気」を5指標で独自判定！【大学・見逃し配信】 - 見逃し配信	https://diamond.jp/articles/-/278811	gmarch	2021-08-13 04:44:00
ビジネス	ダイヤモンド・オンライン - 新着記事	オフィス再開、自分だけ在宅勤務ならどうする？ - WSJ PickUp	https://diamond.jp/articles/-/278710	wsjpickup	2021-08-13 04:42:00
ビジネス	ダイヤモンド・オンライン - 新着記事	駅トイレで21歳青年が性被害に、声を上げられない男性たちの深刻実態 - News&Analysis	https://diamond.jp/articles/-/278729	newsampampanalysis	2021-08-13 04:40:00
ビジネス	ダイヤモンド・オンライン - 新着記事	老舗カメラメーカー・ライカ監修の18万円超「高級スマホ」は“買い”なのか？ - ニュース3面鏡	https://diamond.jp/articles/-/278727		2021-08-13 04:35:00
ビジネス	ダイヤモンド・オンライン - 新着記事	リビングで阿鼻叫喚、恥ずかしい趣味がネットニュースに～本当にあった怖い話 - 大人のデジタルリテラシー向上講座	https://diamond.jp/articles/-/278726	当たり前	2021-08-13 04:30:00
ビジネス	ダイヤモンド・オンライン - 新着記事	武田信玄のリーダー術、がむしゃら武士を「考える部下」にどうやって育てたか - ニュース3面鏡	https://diamond.jp/articles/-/278669	武田信玄のリーダー術、がむしゃら武士を「考える部下」にどうやって育てたかニュース面鏡コロナ禍が長期化する昨今、日本のリーダーたちの資質が問われています。	2021-08-13 04:25:00
ビジネス	ダイヤモンド・オンライン - 新着記事	株主優待でおなじみ桐谷さんが株で4億円を築くまで（2）インスタントラーメン三昧の超極貧！ 見習い棋士時代 - 一番売れてる月刊マネー誌ZAiと作った桐谷さんの日本株&米国株入門	https://diamond.jp/articles/-/277378	ampamp	2021-08-13 04:20:00
ビジネス	ダイヤモンド・オンライン - 新着記事	ひろゆきが語る「僕が稼ぐことができている秘密」ベスト1 - 1％の努力	https://diamond.jp/articles/-/278222	youtube	2021-08-13 04:15:00
ビジネス	ダイヤモンド・オンライン - 新着記事	ホリエモンに学べ！「情報とは誰かが用意してくれるものではなく、自らつかみ取るもの」 - マンガ版 ゼロ──なにもない自分に小さなイチを足していく	https://diamond.jp/articles/-/278657	堀江貴文	2021-08-13 04:05:00
GCP	Cloud Blog	What’s new with Splunk Dataflow template: Automatic log parsing, UDF support, and more!	https://cloud.google.com/blog/products/data-analytics/whats-new-splunk-dataflow-template/	What s new with Splunk Dataflow template Automatic log parsing UDF support and more Last year we released the Pub Sub to Splunk Dataflow template to help customers easily amp reliably export their high volume Google Cloud logs and events into their Splunk Enterprise environment or their Splunk Cloud on Google Cloud now in Google Cloud Marketplace Since launch we have seen great adoption across both enterprises and digital natives using the Pub Sub to Splunk Dataflow to get insights from their Google Cloud data Pub Sub to Splunk Dataflow template used to export Google Cloud logs into Splunk HTTP Event Collector HEC We have been working with many of the users to identify and add new capabilities that not only addresses some of the feedback but also reduces the effort to integrate and customize the Splunk Dataflow template  Here s the list of feature updates which are covered in more detail below Automatic logs parsing with improved compatibility with Splunk Add on for GCPMore extensibility with user defined functions UDFs for custom transformsReliability and fault tolerance enhancementsThe theme ​​behind these updates is to accelerate time to value  TTV for customers by reducing both operational complexity on the Dataflow side and data wrangling aka knowledge management on the Splunk side We have a reliable deployment and testing framework in place and confidence that it Splunk Dataflow pipeline will scale to our demand It s probably the best kind of infrastructure the one I don t have to worry about Lead Cloud Security Engineer Life Sciences company on Google CloudWe want to help businesses spend less time on managing infrastructure and integrations with third party applications and instead get value and time sensitive insights from their Google Cloud data be it for business analytics IT or security operations We have a reliable deployment and testing framework in place and confidence that it will scale to our demand It s probably the best kind of infrastructure the one I don t have to worry about says the lead Cloud Security Engineer of a major Life Sciences company that leverages Splunk Dataflow pipelines to export multi TBs of logs per day to power their critical security operations To take advantage of all these features make sure to update to the latest Splunk Dataflow template gs dataflow templates latest Cloud PubSub to Splunk or at the time of this writing version RC gs dataflow templates RC Cloud PubSub to Splunk or newer More compatibility with Splunk All we have to decide is what to do with the time that is given us ーGandalfFor Splunk administrators and users you now have more time to spend analyzing data instead of parsing and extracting logs amp fields Splunk Add on for Google Cloud PlatformBy default Pub Sub to Splunk Dataflow template forwards only the Pub Sub message body as opposed to the entire Pub Sub message and its attributes You can change that behavior by setting template parameter includePubsubMessage to true to include the entire Pub Sub message as expected by Splunk Add on for GCP However in prior versions of Splunk Dataflow template in the case of includePubsubMessage true  Pub Sub message body was stringified and nested under the field message whereas Splunk Add on expected a JSON object nested under data field Message body stringified prior to Splunk Dataflow version RCThis led customers to either customize their Splunk Add on configurations via props amp transforms to parse the payload or use spath to explicitly parse JSON and therefore maintain two flavors of Splunk searches via macros depending on whether data was pushed by Dataflow or pulled by Add on far from ideal experience That s no longer necessary as Splunk Dataflow template now serializes messages in a manner compatible with Splunk Add on for GCP In other words the default JSON parsing built in Add on fields extractions and data normalization work out of the box Message body as JSON payload as of Splunk Dataflow version RCCustomers can readily take advantage of all the sourcetypes in Splunk Add on including Common Information Model CIM compliance That also ensures full compatibility with premium applications like Splunk Enterprise Security ES and IT Service Intelligence ITSI without any extra effort on the customer as long as they have set includePubsubMessage true in their Splunk Dataflow pipelines Note on updating existing pipelines with includePubsubMessage If you re updating your pipelines from includePubsubMessage false to includePubsubMessage true and you are using a UDF function make sure to update your UDF implementation since the function s input argument is now the PubSub message wrapper rather that the underlying message body that is the nested data field In your function assuming you save the JSON parsed version of the input argument in obj variable the body payload is now nested in obj data For example if your UDF is processing a log entry from Cloud Logging a reference to obj protoPayload needs to be updated to obj data protoPayload  Splunk HTTP Event CollectorWe also heard from customers who wanted to use Splunk HEC fields metadata to set custom index time field extractions in Splunk We have therefore added support for that last remaining Splunk HEC metadata field Customers can now easily set these index time field extractions on the sender side Dataflow pipeline rather than configuring non trivial props amp transforms on the receiver Splunk indexer or heavy forwarder A common use case is to index metadata fields from Cloud Logging namely resource labels such as project id and instance id to accelerate Splunk searches and correlations based on unique Project IDs and Instance IDs See example under Pattern Transform events in our blog about getting started with Dataflow UDFs for a sample UDF on how to set HEC fields metadata using resource labels object More extensibility with utility UDFs I don t know and I would rather not guess ーFrodoFor Splunk Dataflow users who want to tweak the pipeline s output format you can do so without knowing Dataflow or Apache Beam programming or even having a developer environment setup You might want to enrich events with additional metadata fields redact some sensitive fields filter undesired events or set Splunk metadata such as destination index to route events to When deploying the pipeline you can reference a User Defined Function UDF that is a small snippet of JavaScript code to transform the events in flight The advantage is that you configure such UDF as a template parameter without changing re compiling or maintaining the Dataflow template code itself In other words UDFs offer a simple hook to customize the data format while abstracting low level template details When it comes to writing a UDF you can eliminate guesswork by starting with one of the utility UDFs listed in Extend your Dataflow template with UDFs That article includes also a practical guide on testing and deploying UDFs More reliability and error handling The board is set the pieces are moving We come to it at last the great battle of our time ーGandalfLast but not least the latest Dataflow template improves pipeline fault tolerance and provides a simplified Dataflow operator troubleshooting experience In particular Splunk Dataflow template s retry capability with exponential backoff has been extended to cover transient network failures e g Connection timeout in addition to transient Splunk server errors e g Server is busy Previously the pipeline would immediately drop these events in the dead letter topic While this avoids data loss it also adds unnecessary burden for operator who are responsible to replay these undelivered messages The new Splunk Dataflow template minimizes this overhead by attempting retries whenever possible and only dropping messages to dead letter topic when it s a persistent issue like those listed in Delivery error types or when the maximum retry elapsed time has expired min Finally as more customers adopt UDFs to customize the behavior of their pipelines per previous section we ve invested in better logging for UDF based errors such as JavaScript syntax errors Previously you could only troubleshoot these errors by inspecting the undelivered messages in the dead letter topic You can now view these errors in the worker logs directly from the Dataflow job page in Cloud Console Here s an example query you can use in Logs Explorer You can also set up an alert policy in Cloud Monitoring to alert you whenever such UDF error happens so you can review the message payload in the dead letter topic for further inspection You can then either tweak the source log sink if applicable to filter out these unexpected logs or revise your UDF function logic to properly handle these logs What s next Home is behind the world ahead and there are many paths to tread through shadows to the edge of night until the stars are all alight ーJ R R TolkienWe hope this gives you a good overview of recent Splunk Dataflow enhancements Our goal is to minimize your operational overhead for logs aggregation amp export so you can focus on getting real time insights from your valuable logs To get started check out our detailed reference guide on deploying production ready log exports to Splunk using Dataflow Take advantage of the associated Splunk Dataflow Terraform module to automate deployment of your log export as well as these sample UDF functions to customize log transformation in flight before delivery to Splunk as needed Be sure to keep an eye out for more Splunk Dataflow enhancements in our GitHub repo for Dataflow Templates Every feature covered above is customer driven so please continue to submit any feature requests as GitHub repo issues or directly from your Cloud Console as support cases AcknowledgementsSpecial thanks to Matt Hite from Splunk both for his close collaboration in product co development and for his partnership in serving joint customers Related ArticleExtend your Dataflow template with UDFsLearn how to easily extend a Cloud Dataflow template with user defined functions UDFs to transform messages in flight without modifyi Read Article	2021-08-12 20:54:00