IT |
InfoQ |
Presentation: Harnessing Technology for Good — Transformation and Social Impact |
https://www.infoq.com/presentations/technology-change/?utm_campaign=infoq_content&utm_source=infoq&utm_medium=feed&utm_term=global
|
Presentation Harnessing Technology for Good ーTransformation and Social ImpactLisa Gelobter explores how to use technology to make the change affecting societal and systemic level changes By Lisa Gelobter |
2023-06-09 20:08:00 |
海外TECH |
MakeUseOf |
7 Tips for Using Microsoft OneNote as Your To-Do List |
https://www.makeuseof.com/tag/x-ways-super-charge-list-onenote/
|
microsoft |
2023-06-09 20:46:17 |
海外TECH |
MakeUseOf |
The Top 10 Jobs in the Cryptocurrency and DeFi Industry |
https://www.makeuseof.com/jobs-in-crypto-defi/
|
The Top Jobs in the Cryptocurrency and DeFi IndustryWant to learn more about the hottest career opportunities in cryptocurrency and DeFi Here are some of the top crypto jobs shaping the finance world |
2023-06-09 20:31:17 |
海外TECH |
MakeUseOf |
How to Leave a Discord Server |
https://www.makeuseof.com/how-to-leave-discord-server/
|
discord |
2023-06-09 20:16:18 |
海外TECH |
DEV Community |
Cómo construir tu propia data platform. From zero to hero. |
https://dev.to/adevintaspain/como-construir-tu-propia-data-platform-from-zero-to-hero-96c
|
Cómo construir tu propia data platform From zero to hero IntroducciónEste artículo es el resultado de la ponencia presentada el día de abril de en la Salmorejo Tech Las slides de la presentación pueden encontrarse en el siguiente enlace slideshare Con esta ponencia se buscaba explicar a una audiencia con conocimientos básicos de tecnología las distintas herramientas que se pueden emplear para construir una plataforma de datos La ponencia comienza con una configuración sencilla que prácticamente cualquier persona del mundo de la informática puede entender Termina con una configuración compleja donde sin entrar en muchos detalles sípermite a la audiencia hacerse una idea de quéherramientas se requieren para implementar la solución Diferencia entre el mundo operacional y el mundo analítico El mundo operacional es donde encontramos las típicas aplicaciones de frontend y backend En este mundo no es estrictamente necesario guardar históricos de información Aquíestamos más interesados en guardar lo que el usuario necesite para realizar sus operaciones y estas operaciones pueden caducar con el paso del tiempo Además en el mundo operacional guardamos grandes cantidades de información personal como pueden ser el email teléfonos de contacto direcciones etc etc Esto es asíporque los necesitamos para contactar con el usuario Por ejemplo para enviarle un pedido En el mundo analítico lo que se quiere es guardar tanta información como sea posible En muchas ocasiones historificada En este mundo también no es estrictamente necesario guardar datos personales por ejemplo el email Aquíno necesitamos contactar con el usuario y por tanto no necesitamos conocer su email real pero síque puede que estemos interesados en saber cuántos emails distintos se han utilizado en el sistema a lo largo de los años Es en este mundo analítico donde implementaremos nuestra plataforma de datos ¿Quées una plataforma de datos Una plataforma de datos es un conjunto de aplicaciones herramientas bases de datos que permiten la adquisición el almacenamiento preparación y gobierno de datos Es una solución completa para el procesado ingesta analizado y presentación de datos generados por una empresa Ver links ¿Quiénes son nuestros usuari s Antes de seguir adelante implementando una solución tecnológica tenemos que identificar los usari s que utilizarán dicha solución asícomo sus necesidades de negocio A continuación listamos los casos más típicos de usuarios que podemos encontrar para una plataforma de datos Data engineer Se enfoca en el diseño construcción mantenimiento y gestión de infraestructuras de datos Implementación y gestión de sistemas de almacenamiento de datos bases de datos almacenamientos en la nube etc etc Asegurar que los datos estén limpios organizados y estructurados de manera adecuada para que puedan ser utilizados de manera efectiva Data analysts y data scientists y machine learning engineers Data scientist utiliza técnicas estadísticas y de análisis de datos para extraer información útil con el objetivo de mejorar la toma de decisiones y la eficacia de una empresa Data analyst recopila procesa y analiza datos para ayudar a las empresas a tomar decisiones informadas Su trabajo es proporcionar información relevante y accionable para impulsar el crecimiento y el éxito empresarial Machine learning engineer desarrolla y optimiza modelos de aprendizaje automático para resolver problemas empresariales complejos Su trabajo es construir sistemas que puedan aprender y mejorar a medida que se exponen a más datos Solución simple Ahora que ya sabemos quiénes son nuestros clientes podemos empezar a plantear soluciones Como se anticipóen la introducción iremos del modelo más simple al más complejo En esta solución el mundo operacional y el mundo analítico comparten la misma base de datos Observamos que todos nuestros usuarios comparten el mismo sistema La plataforma de datos utilizarácomo sistema de almacenamiento la misma base de datos que el resto del sistema operacional Para pequeñas y medianas empresas esta puede ser una solución de compromiso donde no se quiere añadir la complejidad que supone añadir sistemas de almacenamiento específicos para el mundo analítico La plataforma de datos no necesitaráproveer de un sistema de almacenamiento especial Ventajas sistema más simple de mantener Inconvenientes acciones realizadas en el mundo analítico por ejemplo sacar datos en un dashboard pueden afectar a operaciones como pueden ser la compra de un producto desde el frontend porque el sistema de almacenamiento es compartido Herramientas que tendremos que proporcionarBase de datospostgresql mysql oracle etc etcesquemastablasgestión de permisosAplicacionesLeen tablas de la base de datos realizan una transformación y escriben los resultados en otras tablas ETL extract transform loadDashboardsDiagramas donde se muestran datos de interésMachine learningMLFlowKubeflow Ejemplo de aplicaciones que podemos usarBase de datos por ejemplo PostgreSQL Aplicaciones como Apache Airflow para el desarrollo de ETLs Dashboards como Qlik y Tableau Para machine learning por ejemplo podemos proporcionar Kubeflow GobernanzaGran importancia tendrála definición y aplicación de reglas específicas para estandarizar nombres de las tablas bases de datos de procesos etc etc Además seráimportante crear reglas de utilización de las herramientas ofrecidas por la plataforma de datos Recordemos que al final detrás de la tecnología hay personas Debemos evitar que se haga un mal uso de dicha tecnología para ello la gobernanza seráfundamental Solución intermedia En esta solución observamos que el mundo operacional ahora es mucho más complejo Esta solución es necesaria cuando queremos evitar que procesos del mundo analítico afecten al mundo operacional Además el mundo operacional estácompuesto por diferentes sistemas Queremos tener todos nuestros datos analíticos en un único lugar para de este modo poder analizarlos y transformarlos de una manera sencilla La plataforma de datos necesitaráproveer en este caso de una base de datos propia y de herramientas que permitan la extracción de la información almacenada en los diferentes sistemas del mundo analítico Ventajas acciones realizadas en el mundo analítico no afectan al operacional porque el sistema de almacenamiento no es compartido Todos los datos analíticos están recogidos en un único lugar Inconvenientes mayor complejidad y costes Herramientas que tendremos que proporcionarEn esta solución las herramientas a proporcionar son las mismas que en la solución simple pero ahora tenemos un nuevo tipo de base de datos el Data Warehouse y aplicaciones que nos permitirán consumir información de los sistemas operacionales El resto de las herramientas son las mismas que las que se explicaron en la anterior solución Data Warehouse por ejemplo AWS Redshift Aplicaciones como Apache Airflow para el desarrollo de ETLs Dashboards como Qlik y Tableau Para machine learning por ejemplo podemos proporcionar Kubeflow ¿Quées un Data Warehouse Es una base de datos centralizada que integra muchas fuentes de datos Permite aislar los sistemas operacionales de los analíticos Queries lanzadas desde el sistema analítico no afectan al operacional Permite reorganizar la información de forma que sea más fácilmente analizable Proporciona un único modelo de datos Permite mantener un histórico de información que el operacional por no necesitarla puede borrar Permite integrar múltiples fuentes de datos en un único lugar Modelado específico esquema en estrella Compuesto de tablas de hechos y de dimensiones Tabla de hechos sucesión de hechos alto número de registros Tabla de dimensiones descripción de los hechos pocos registros y muchos atributos Permite la optimización de las queries en modo lectura Permite queries más simples sin necesidad de múltiples JOINs como podría suceder en un modelo normalizado de entidad relación Permisos vía GRANTs en tablas ¿Quées AWS Redshift Es una solución de Data Warehouse implementada por Amazon Web Services Sin ningún esfuerzo en la nube podemos crear nuestro propio servidor En la captura de pantalla superior se muestra la interfaz gráfica que permite crear y configurar AWS Redshift ¡Cuidado Nunca uses la interfaz gráfica para crear y mantener tu infraestructura en la nube Usa siempre infraestructura como código Con esto consigues que tu infraestructura sea reproducible automatizable y fácilmente mantenible por cualquier persona en tu equipo u organización Para ello hay diferentes soluciones como pueden ser CloudFormation CDK Terraform y muchas otras A continuación documentamos un ejemplo de código Terraform que permite crear de forma sencilla un cluster AWS Redshift serverless resource aws redshiftserverless workgroup serverless workgroup name var name namespace name aws redshiftserverless namespace serverless id base capacity var base capacity security group ids var security group ids subnet ids var subnet ids enhanced vpc routing true publicly accessible var publicly accessible tags var tags resource aws redshiftserverless namespace serverless namespace name var name admin username var admin username admin user password var admin user password db name var db name iam roles var iam roles default iam role arn var default iam role arn tags var tags lifecycle ignore changes iam roles resource aws route record serverless for each toset var route record zone ids zone id each value name redshift var route record name type CNAME ttl records aws redshiftserverless workgroup serverless endpoint address Solución avanzada En esta solución aparecen dos nuevos elementos el Data Lake o Lakehouse y fuentes de datos de tipo JSON AVRO XML o cualquier tipo de API Esta solución la implementaremos cuando tengamos que guardar grandes cantidades de datos no estructurados como pueden ser eventos generados por el Internet de las Cosas Ventajas podemos guardar datos no estructurados en grandes cantidades Inconvenientes mayor complejidad y costes Herramientas que tendremos que proporcionarEn esta solución las herramientas a proporcionar son las mismas que en la solución intermedia pero ahora se añade la necesidad de implementar un Data Lake o un Lakehouse En nuestro caso y porque estamos usando las herramientas proporcionadas por AWS en la nube el Lakehouse se implementaráhaciendo uso de AWS S ¿Quées un Data Lake o Lakehouse Es un sistema de almacenamiento de datos masivo y barato Se utiliza para almacenar grandes cantidades de información en su formato nativo sin necesidad de que los datos estén estructurados de una manera particular JSON XML logs etc Los datos pueden provenir de diferentes fuentes bases de datos sensores registros de máquinas APIs etc Permite aislar los sistemas operacionales de los analíticos Se utilizan sistemas distribuidos como AWS S de Amazon o HDFS sistema de archivos de Hadoop ¿Quées un Data Lake o Lakehouse implementado en AWS S En Adevinta implementado en AWS S en Amazon Cloud Puede verse como un sistema de archivos con carpetas¡Pero no es un sistema de archivos Los archivos se llaman objetos Podemos usarlo mediante el Hadoop File System Apache Spark etc etc Permisos vía IAM Roles ¿Cómo podemos usar el Data Lake o Lakehouse Para poder usarlo existen aplicaciones como Apache Spark En la captura de pantalla superior se muestra un notebook ejecutando código Apache Spark que permite leer un archivo comprimido en formato gzip y mostrar la información que contiene Conclusión En esta ponencia hemos presentado diferentes soluciones para construir una plataforma de datos Desde la más sencilla hasta la más compleja Otras soluciones son posibles pero todas ellas tendrán piezas muy similares a las aquídiscutidas Ahora ya solo queda que tútambién montes en tu empresa tu propia data platform y logres ese ascenso o mejora laboral que te mereces |
2023-06-09 20:08:41 |
海外TECH |
Engadget |
Reddit CEO Steve Huffman defends API changes in AMA |
https://www.engadget.com/reddit-ceo-steve-huffman-defends-api-changes-in-ama-202924631.html?src=rss
|
Reddit CEO Steve Huffman defends API changes in AMAReddit CEO Steve Huffman has finally spoken publicly about the company s deeply unpopular API changes that have resulted in some of the most used third party reddit apps saying they will be forced to shut down In an AMA Ask Me Anything discussion Huffman promised improvements to Reddit s own app but seemed unwilling to make concessions on pricing and other issues that have rankled the community “Reddit needs to be a self sustaining business and to do that we can no longer subsidize commercial entities that require large scale data use he wrote in his AMA post “Some apps such as Apollo Reddit is Fun and Sync have decided this pricing doesn t work for their businesses and will close before pricing goes into effect In a series of mostly sentence responses to detailed multi part questions Huffman acknowledged some missteps in the company s API rollout but largely declined to tackle thornier questions about the company s handling of its relationship with third party developers In one response he conceded that the day window given to developers for the new API was a “tight timeline and said the company was “continuing to chat with many of the developers who still want to work with us But other developers soon weighed in noting that they had never heard back from the company despite reaching out through the channels promoted by Reddit “I have been trying to contact Reddit over the last months and have been completely ignored one developer wrote “I feel completely powerless to do anything right now and I want to try and save the app I ve been working on for the last years Huffman apologized and said the company would respond When asked about why the company accused Christian Selig the developer of Apollo of threatening the company ーa claim Selig denied and promptly debunked with an audio clip of a phone call with a Reddit rep ーHuffman doubled down on the criticism “His joke is the least of our issues he said “His behavior and communications with us has been all over the placeーsaying one thing to us while saying something completely different I don t know how we could do business with him Huffman didn t respond to a followup question from Selig asking for examples of such behavior Huffman who goes by spez on the platform also promised that Reddit was working on improvements to its own app including its moderation tools and accessibility features Both areas are often cited by Redditors who prefer third party apps to the company s native app He also said that the reason why third party apps would no longer be able to show sexually explicit content was due to a changing “regulatory environment and legal concerns “It s a constant fight to keep this content at all he said “We have to be strict conservative about where it shows up One of his most telling answers came in response to a question about the perception that “Reddit has become increasingly profit driven and less focused on community engagement than it has in the past “We ll continue to be profit driven until profits arrive Huffman responded “Unlike some of the P third party apps we are not profitable Notably there were a number of topics Huffman didn t address including why the company priced its API at a rate that developers say is prohibitively expensive Huffman also didn t address the upcoming blackout from thousands of subreddits protesting the API changes More than subreddits have pledged to “go dark for two days beginning June th to protest the changes By the end of the AMA Huffman had responded to questions while a few other executives answered a handful of their own In perhaps the most telling sign that their answers were not well received every answer from the reddit team was downvoted so heavily they were almost impossible to view within the AMA thread itself A moderator later linked all of their answers at the top of the thread “We know answers are tough to find they said This article originally appeared on Engadget at |
2023-06-09 20:29:24 |
海外科学 |
NYT > Science |
Britain Limits Use of Puberty-Blocking Drugs to Research Only |
https://www.nytimes.com/2023/06/09/health/puberty-blockers-transgender-children-britain-nhs.html
|
people |
2023-06-09 20:50:49 |
金融 |
ニュース - 保険市場TIMES |
保険市場に「SBI損保の海外旅行保険」の掲載開始 |
https://www.hokende.com/news/blog/entry/2023/06/10/060000
|
|
2023-06-10 06:00:00 |
ニュース |
BBC News - Home |
I've been forced out over Partygate report, says Boris Johnson |
https://www.bbc.co.uk/news/uk-politics-65863267?at_medium=RSS&at_campaign=KARANGA
|
covid |
2023-06-09 20:56:52 |
ビジネス |
ダイヤモンド・オンライン - 新着記事 |
雇用の4分の1が消滅!ChatGPTによる大淘汰が産業革命のインパクトを上回りそうな理由 - ChatGPT完全攻略 最新・仕事術革命の決定版 |
https://diamond.jp/articles/-/323823
|
雇用の分のが消滅ChatGPTによる大淘汰が産業革命のインパクトを上回りそうな理由ChatGPT完全攻略最新・仕事術革命の決定版イノベーションで労働者の仕事が減る一方、新技術によって別の職業が生まれるー。 |
2023-06-10 05:25:00 |
ビジネス |
ダイヤモンド・オンライン - 新着記事 |
会員権は3600万円!高級輸入車販売CORNESが会員制ドライビングクラブを始める理由 - News&Analysis |
https://diamond.jp/articles/-/324026
|
会員権は万円高級輸入車販売CORNESが会員制ドライビングクラブを始める理由NewsampampAnalysisフェラーリ、ランボルギーニ、ベントレー、ロールスロイス、ポルシェの五つの高級輸入車を取り扱うCORNESCOMPANYLIMITED以下、コーンズが年夏、会員制ドライビングクラブ「THEMAGARIGAWACLUB」を千葉県南房総市にオープンする。 |
2023-06-10 05:20:00 |
ビジネス |
ダイヤモンド・オンライン - 新着記事 |
小学校受験は「ガリ勉」こそ合格できない!親も子も楽になる簡単で強力な“4つのコツ” - 幼児教育&お受験のリアル |
https://diamond.jp/articles/-/323997
|
小学校受験 |
2023-06-10 05:15:00 |
ビジネス |
ダイヤモンド・オンライン - 新着記事 |
「東大医学部不合格で塾に返金要求」はアリか?“受験のカリスマ”和田秀樹氏経営の塾が敗訴した理由 - 有料記事限定公開 |
https://diamond.jp/articles/-/323501
|
和田秀樹 |
2023-06-10 05:12:00 |
ビジネス |
ダイヤモンド・オンライン - 新着記事 |
医学生に人気の研修先病院ランキング2023【全国ベスト100】2位武蔵野赤十字病院、1位は? - 今なら目指せる! 医学部&医者 |
https://diamond.jp/articles/-/323500
|
武蔵野赤十字病院 |
2023-06-10 05:10:00 |
ビジネス |
ダイヤモンド・オンライン - 新着記事 |
「ジャニーズ性加害問題」は火消しに完全失敗で存亡の機…でも絶対つぶすな! - News&Analysis |
https://diamond.jp/articles/-/324216
|
「ジャニーズ性加害問題」は火消しに完全失敗で存亡の機…でも絶対つぶすなNewsampampAnalysisジャニーズ事務所の創業者であるジャニー喜多川氏による性加害疑惑の問題は今もなお炎上し続けている。 |
2023-06-10 05:05:00 |
ビジネス |
ダイヤモンド・オンライン - 新着記事 |
テスラが勝利したEV充電巡る戦い - WSJ発 |
https://diamond.jp/articles/-/324301
|
戦い |
2023-06-10 05:01:00 |
ビジネス |
東洋経済オンライン |
「人前でほめられたくない新人」をどう伸ばすか? 新たなる「没個性時代」のマネジメント論 | 子育て | 東洋経済オンライン |
https://toyokeizai.net/articles/-/675436?utm_source=rss&utm_medium=http&utm_campaign=link_back
|
東洋経済オンライン |
2023-06-10 05:50:00 |
ビジネス |
東洋経済オンライン |
コメダに匹敵も?超実力派の「420円モーニング」 ゼンショー「モリバコーヒー」は逆詐欺界の新星 | チェーン店最強のモーニングを探して | 東洋経済オンライン |
https://toyokeizai.net/articles/-/677904?utm_source=rss&utm_medium=http&utm_campaign=link_back
|
東洋経済オンライン |
2023-06-10 05:10:00 |
コメント
コメントを投稿