Forum
Ny test tråd.
11
Test test
1
Test redigering
2
Test test test
0
Test tråd til edit 223
0
Test tråd til edit
0
Test test 2342
0
Hjemmeserver for 2 personer udaftil
6
Shit hvor er de reklamer irriterende, og i vejen
52
Internet problemer
7
MOZA Racing og Automobili Lamborghini Squadra Corse bringer Lamborghini DNA'et til sim racing
4
Kommentarer til dette kort?
56
Thomas tester en nyhed
29
Tester billeder
2
Stop Destroying Videogames (EU underskrift indsaml...
83
Husk at nulstille password for at logge ind
0
Dette er en test artikel
0
HJÆLP oplader til bærbar.
10
Minecraft Java Server problemer
1
prosonic tv 55"
4
Ram
21
Købe 3070 nu eller vente til 5000 serie kommer
41
Tesla livestream, Robotaxi, hvem ser med?
44
Ny server
3
Opgradering af PC - 5 år gammel
26
Køb & Salg
S: Jeg sælger alt
0
K: RTX 6090
1
S: RTX 5090
0
S: Test tråd
0
S: vman bruger
4
S: Dell Monitor G2524H
0
S: Dell Monitor G2524H
0
V: PowerColor AX7990 6GBD5
11
V: b650m, 7600, 32GB D5, 6650xt, 1TB SSD
4
S: Alienware AW2723DF
4
K: intel 12-14 gen bundle, evt pc uden gpu
2
Hol.dk's Uofficielle White/Black liste V3
2066
S: Intel 13700K
6
S: Akko 5087B tastatur
7
S: Kingston FURY Beast DDR5-6000 - 64GB
7
S: Asus RT-AX86U
4
V: macbook pro 2016
1
S: Lian Li PC201B + Hotswap trays
2
V: Bundle; X570 mobo, Ryzen 5900X, 32GB Ram(LED)
9
S: R7 5700G, RTX 3060ti, 16GB DDR4, 1TB NVME
4
S: Bundle AM3+ CPU/Bundkort/RAM
2
B: Viaplay Premium gavekort => TV2 Play Favorit gavekort
0
K: 32 GB DDR4 RAM, 3600 MHz, CL 16
2
V/S: ITX Pc / Lan PC
1
B: RTX4070 Ti til RTX4070 Ti
2
S: C531 TG ARGB White - uden sideglas/panel
0
S: EVGA 980ti KingPin
9
V: Komplet system 4690K 1070TI
1
S:Logitech G920 sælges
5
S: DVD/VHS brænder
2
- Denne tråd er over 6 måneder gammel
Er du sikker på, at du har noget relevant at tilføje?
kvist1992's Big Server Adventure!
Af kvist1992 HOL Moderator
Hej HOL!
OPDATERET 8. AUGUST 2023, KLOKKEN 00.00
Jeg har simpelten, uden at vide det, mere eller mindre lavet et identisk setup med Linus Tech Tips seneste, bare med ældre hardware, vores YouTube talent, skal liiiiige vækste lidt endnu før vi rammer 10mio+ subs!
SOFTWARE:
- Proxmox til VM
- TrueNAS til Storage
- Windows 10 til VMs
- Windows Server 20xx til management VMs
- unRaid til test
HARDWARE:
- 1 x Dell R730xd (16 x 3.5")
- 1 x Dell R720xd (24 x SFF)
- 3 x Dell R720
- 1 x Dell VRTX med 4 x M620 + 25 x 250GB SSD storage pool
- 1 x Dell M1000e med 8 x M620 + Dell EquaLogic med 24 x 250GB SSD + NESTOR GPU Enclosure med 4 x RTX 3060Ti
NETVÆRK:
- 1 x CISCO 48 port 10Gbe switch (SFP+)
- 1 x CISCO 48 port 1Gbe POE switch (RJ45)
- 1 x Netgear 8 port 10Gbe switch (SFP+ + RJ45)
- 1 x TP-LINK 8 port 2.5Gbe switch (RJ45)
OPSÆTNINGEN SO FAR
Lord Ceasar (Active Project NAS)
Dell R720xd (2 x E5-2670v2 + 256GB DDR3-1866 + 20 x 7,68TB SAS SSD(?))
...eller det var planen. Lortet laver fejl på IDRAC.. Den er vi ved at fejlsøge! Og er vi heldige så får vi måske smidt en 20 x 7,68TB SSD i (en mulig, kommende tak til freak_master)
Denne fine sag skal bruges til vores 12 klippere, når de skal tilgå aktive projekter, og det må gerne gå tjept. Bevares, de logger ikke ind på den her server, men de kan finde alt dataen, og det med hastigheder på 10Gbe+!
Vores 4K DCI live produktioner skal også gerne ende herinde, helst. Så der kommer en del trafik igenne, og mon ikke der skal kobles op med 2 x 10Gbe til den her? Hvad tænker I?
Den her server er jeg, som nævnt i indledningen, i gang med at sætte op, den driller, og jeg mangler stadig SSDer til den også!
Grinngots (Archive NAS)
Dell R730x (1 x 2670v3 + 192GB DDR4-2133 + 16 x 6TB SAS HDD + 2 x 200 SATA SSD)
... som virker rigtig fint!
Den her bandit er sat op! Og den virker! Vi kører ZFS med TrueNAS her, for det virker rigtig fint, og jeg har lavet en stor pool, hvor hele 2 diske kan dø, før der sker noget. Det tænker jeg er nok. For alt skal jo smides i skyen anyways!
So far har jeg opsat en test VM på en R720er, og kan konstatere at jeg kan kopiere data med op til 280 MB/s, eller 2.2 GBe, så det er da en start.
Det der mangler her, er nogle JBODs. For jeg løber meget, meget hurtigt tør for plads, og har en satans masse diske, der keder sig! 13 x 10GB + 4.x 14TB, som bare ligger! Det duer ikke!
Vi forsøger at skaffe noget sponsoraftale med WD eller Seagate til projektet, da vi er affilieret med noget populærkultur, hvor det kan give mening. Planen kunne være et Supermicro JBOD med 96 22TB diske. Vi bruger ca. 5-10TB/uge i peak.
Professor Dumbledore
Dell VRTX med 4 x Dell M620 med 2 x E5-2650v2 + 256GB DDR3-1866 RAM + 25 x 240GB SSD)
Den her har vi liiiidt bøvl med. For det første fordi vi skal have den sdiste blade til at virke. Den har deffekt mezz card, og vi ved faktisk ikke hvilktet vi skal købe og sætte i... Kan nogen her hjælpe med et ebay link? Næste problem er faktisk at der er tale om nogle blades, der kommer til at skulle lave ret meget, så vi er liiiiidt kede af CPUerne og det faktum at der køres med DDR3 RAM. Udfordirngen er dog hvor stor gevinsten er mellem en 8 kernet 2667v2 på 3,4 GHz (planlagt upgrade) og en 8 kernet 2667v4 med 3.2 GHz når det ene har kostet gratis og det andet koster en del mere + bøvl.
Vi monterer 4 x RTX A2000 eller RTX 3060Ti i disse. her mangler jeg så 4 x Dell PCIe power, og dem kan jeg so far kun finde til 180 kr/stk. hos Kimbrer, eller eBay med evig leveringstid...
Formålet med den kære professor her, er at agere VM for vores klippere, men jeg ved ikke om jeg løber tør for power med kun 64 kerner til 12 VMs? Overvejer en 10 kernet 2670v2, det giver mig 80 kerner i alt. RAM, der tænker jeg 1TB er fint til 12 mand. GPU mæssigt, bør der også være nok, men sprøgsmålet er om jeg får lov at dele og sprede workload ud på GeForce kort? Så Linus Tech Tips havde et hack? Måske nogle herinde kan hjælpe mig?
Lord Voldemord
Dell M1000e med 8 x M620 med 2 x E5-2650v1 + 192 GB DDR3-1600 RAM
Her skal vi have opgraderet Mørkets Fyrste. Tænker man smider 2 x E5-2697v2 i dem alle og maxer ud med 768GB DDR3-1866 RAM/enhed, så vi rammer 192 kerner og 6.144GB RAM.
Jeg har en NESTOR GPU Enslosure jeg kan smække til, men her er jeg begrænset af båndbredde. Det hedder maks 4 x PCIe 2.0 x8 eller 4 x PCIe 3.0 x4. Båndbredden er samlet 128GBe eller 16 GB/s, latså 1 x PCIe 3.0 x16. Det betyduer effektivt maks 2 x PCIe 3.0 x8, hvis ikke jeg skal give op på ydelse... Eller findes der kort som kan klare sig med 4 x PCIE 3.0 x4 og stadig give mening?
MORE TO COME!
DET OPRINDELIG SKRIV STARTER HER!
Nå! Jeg har været herinde i mange år, og lært meget og delt meget! Fra min fanboytid med min gamle Athlon64 x2, som jeg mente kunne alt, til nu, hvor jeg forsøger at hjælpe le BOFH med at holde den gode tone herinde!
Nu er tiden kommet til et af mine største IT projekter til dato! Jeg skal opsætte et stort netværk med tilhørende servere til mit nye start-up!
Allerede nu har jeg fået hjælp af flere gæve HOL brugere med både donationer og adgang til billige serverstumper! Af hjertet tak til jer alle!
Der vil blive skiftet fra Sandy/Ivy til Broadwell over hele linjen, løbende, mere så folk ikke får tics af alderen på udstyret, men mit startup har ikke råd til en 200.000 kr. server.
Det hele er lidt ala det setup som Linus Tech Tips i sin tid har brugt, og tildels stadig bruger og så alligevel ikke.
Herunder kommer der en masse data til jer! Jeg søger råd, dåd og inputs fra jer alle!
Hvad laver vi:
- Vi producerer 12 videoer til YouTube hver måned
- Vi producerer 5-8 live shows om ugen på to lokationer
- Vi producerer 1-2 TV formater om måneden
- Vi producerer 2-4 podcasts om ugen
- Vi producerer 2-4 kampagne videoer om måneden
- Vi producerer 1-2 reklamefilm hver måned
- Vi producerer 3-6 "short format" videoer til SoMe om ugen
- Dertil planlægning, udvikling, tilrettelæggelse, etc.
Hvad vil vi gerne kunne?
- Lagre og arbejde med data til aktuelle projekter, hurtigt, både ON-LOK og OFF-LOK
- Lagre vores data til færdige projekter, langvarigt med backup i skyen
- Alle vores 12-14 post produktionsmedarbejdere skal kunne tilgå VMs remote og on-site og arbejde med proejkter i Adobe Premiere Pro, Final Cut, Unreal, Blender samt After Effects.
- Vores tilrettelæggere og producerer skal kunne tilgå VMs i de tilfælde opgaven kræver det, for let redigering eller des lige
- Vi skal have en VM til at kunne uploade content til YouTube. Det er mere avanceret end det lyder.
- Vi skal bruge en VM til håndtere data samt backup
- Vi skal bruge en "overordnet" VM til IT administratoren
- Vi vil gerne have vores to lokationer koblet sammen. (København K og Hvidovre)
- Vi skal bruge mindst to VMs til vores DIT afdelng, hvor der køres fra to lokationer
- Vi skal bruge en renderserver til Unreal, Blender, After Effects
Hvad har vi af udstyr:
- 6 x Dell R720 med 384GB DDR3-1866 + 2 x E5-2697v2
- 4 x Dell R720G1 med 0-384 DDR3-1600/1866 + 2 x E5-2670v2+ (nogle er defekte)
- 1 x Dell R730xd med 192GB DDR4-2133 + 1 x E5-2660v3 + 16 x 6TB HDD
- 1 x Dell VRTX med 4 x M620 med hver især 2 x E5-2650v2 + 256GB DDR3-1866
- 1 x Dell M1000e med 8 x M620 med hver især 2 x E5-2650v1 + 192GB DDR3-1600
- 1 x Dell EquaLogic PS4210 med 24 SFF 2.5" slots
- 1 x Netstor NA255A PCIe Expansion Enclosure med 128GBps båndbredde og 4 x x8 PCIe 3.0 slots
- 1 x CISCO 48-port SFP+ 10Gbe switch
- 1 x Netgear 8-port SFP+ + RJ45 10Gbe switch
- 1 x Ubiquity Dream Machine Pro SFP+ 10Gbe router (CITY LOK)
- 1 x Netgear "Gaming" routher 1Gbe router (HVIDOVRE LOK)
Løst udstyr:
- 20+ x SFP+ 10Gbe kabler
- 20+ x RJ45 10Gbe kabler
- 4 x 14TB SATA HDD
- 5 x 10TB SATA HDD
- 8 x 10TB SATA HDD
- 120 x 256GB/240GB SATA 6GBps SSDs at fordele på det hele
- 1 x AMD Radeon RX VEGA64
- 3 x NVIDIA GTX780
- 1 x AMD Radeon RX570 4GB
Hvad er status / mine tanker lige nu:
For det første så vil jeg gerne køre noget populærkultur navngivning, da vi laver setup for en gaming TV kanal og et filmproduktionsselskab og et PR bureau. Så so far kører jeg Harry Potter tema, because, why not!
Som en god start kører vi lige en kort gennemgang af netværk, det er ikke så super kompliceret igen, vi går i detaljer længere nede!
VI har to lokationer som skal op at køre og fandme ikke om der kommer en 3. i USA i Q4, som skal kobles op på "Danmark".
Lokation 1 i København K
Dette er vores server lokation, hvor serverrum befinder sig og hvor alt skal samles. Herinde har vi to etager, hvor øverste etage bruges til post-produktion, og den nederste til vores PR bureau og de ansatte.
Netværk:
1 x 5Gbe WAN til den store verden
1 x 10Gbe til loft der fordeles ud i 8 x 2.5Gbe (CAT7)
1 x 10Gbe til udstyrsrum, hvor vores DIT holder til (CAT7)
6 x 1Gbe til øvrige rum, hvor der blot bruges hotspots (CAT5e)
10GBe mellem alle servere
Post-produktion:
2 x Mac Studio M1 Max til redigering
1 x Mac Pro 6.1 til colorgrade
Pre-produktion
MacBook Air 15" og diverse andre, som skal opsættes med Persec til VM på server.
Storage:
"Grinngots" (Storage server
1 x Dell R730xd opsat med TrueNas og sine 16 x 6TB diske, hvorfra jeg har delt SMB shares på netværket, og lavet en stor pool med ZFS. 2 diske bruges som spare.
Dertil 1 x Dell EquaLogic opsat med 24 x 256GB SSD, til korttidslagring og aktive projekter. Denne er jeg i gang med at opsætte og den skal tilsluttes 730eren!
Til de resterende diske, kan jeg udvide mit "pool" med 4 diske ad gangen, og tænker at buge en Dell MD1200 JBOD til formålet, selvom jeg godt kunne tænke mig noget laaaangt større.
VMs
Her skal jeg bruge små 20 VMs i alt, nogle mere "buff" end andre. Planen er at indkøbe en stak RTX2070 eller Quadro RTX A2000 til formålet, som monteres direkte i serveren.
Server til editor VMs bliver VRTX, hvortil jeg monterer 4 x A2000 eller M4000 i, hvad end jeg kan skaffe. Så kan jeg dele regnekraften på tværs af de 12 editorer, og da Premiere Pro er CPU bound, vil jeg swappe 2650erne ud med 2697erne, så der er nok power til redigeringen. Som software bruges Persec, der er gratis i form af en licens per server, dog med en købelicens til color grade der er 4:4:4, som Persec understøtter.
De resterende 8 VMs skal være til YouTube upload, Dropbox Backup, DIT, datahåndtering samt en til admin og et par stykker til tilrettelæggerne og vores producere.
Renderfarm
Her tænkte jeg at bruge M1000e, opgradere til E5-2687Wv2 eller 2667v2, og så smække Nestor til her med 4 x RTX 4060Ti/svarende Quadro, som umiddelbart er maks ift. båndbredden der tilbydes.
Lokation 2 i Hvidovre
Her har vi fire klienter, som er fysike maskiner, der alle kun skal kunne logge på Persec og det er det. De er koblet op med vores server. Hertil vil der være en DIT VM til når data skal sikres.
Udover de fire klienter er der to "TV servere", da det er en TV station, som er herude. De får data fra en lokal NAS, som bruges til sendefladen. Det er ikke en smart løsning og den skal løses.
Udover de ovenstående maskiner, er der en enkelt "live" maskine til når der produceres live, den sender ud til WAN, og backup gemmes på NAS.
Her skal vi have fjernet NAS, migreret den til LOK 1, og så mappet nye netværksdrev herude.
VPN
Nu til det der driller mig mest. Jeg skal have koblet vores to lokationer sammen på ét stort netværk.
Der er en Dream Machine Pro på LOK 1, som har en VPN opsat via L2P og Teleport. Den virker fint hvorend jeg er, men er dog lidt sløv i det...
Dream Machine er opsat med DHCP på 192.168.180.xxx og har så IP adresser derfra.
De to netværk her skal kobles sammen. Jeg har overvejet at sætte en ny Dream Machine Pro op på LOK2 og så lave en site-site VPN, men er det noget som virker og som folk har gode erfaringer med? Umiddelbart må subnet vel ikke være det samme ? Eller skal det være det samme?
Sammenfatning
Hold kæft et skriv det blev til, jeg mangler sikkert 1000 ting, men det er så derfor jeg håber at nogle herinde har input. Der er ting jeg ikke kan og må gå i detaljer med, da sikkerhed er vigtigt, men det er omfattende, og jeg søger råd og dåd. Jeg bruger i øvrigt Proxmox til VMs, det er sgu smart! ESXI kunne ikke nok i sin gratis version, desværre.
Nå ja, vi løber nok snart tør for plads. Vi laver ca. 2-5TB data/uge, så det går rigtig stærkt.
Der kommer kun flere produktioner til som tiden skrider frem, især ehr til efteråret.
?FOR AT SPARE JERES SCROLLHJUL KAN I LÆSE EN OPDATERING / STATUS ØVERST I DENNE POST! :)
God aften!
//Kvist
OPDATERET 8. AUGUST 2023, KLOKKEN 00.00
Jeg har simpelten, uden at vide det, mere eller mindre lavet et identisk setup med Linus Tech Tips seneste, bare med ældre hardware, vores YouTube talent, skal liiiiige vækste lidt endnu før vi rammer 10mio+ subs!
SOFTWARE:
- Proxmox til VM
- TrueNAS til Storage
- Windows 10 til VMs
- Windows Server 20xx til management VMs
- unRaid til test
HARDWARE:
- 1 x Dell R730xd (16 x 3.5")
- 1 x Dell R720xd (24 x SFF)
- 3 x Dell R720
- 1 x Dell VRTX med 4 x M620 + 25 x 250GB SSD storage pool
- 1 x Dell M1000e med 8 x M620 + Dell EquaLogic med 24 x 250GB SSD + NESTOR GPU Enclosure med 4 x RTX 3060Ti
NETVÆRK:
- 1 x CISCO 48 port 10Gbe switch (SFP+)
- 1 x CISCO 48 port 1Gbe POE switch (RJ45)
- 1 x Netgear 8 port 10Gbe switch (SFP+ + RJ45)
- 1 x TP-LINK 8 port 2.5Gbe switch (RJ45)
OPSÆTNINGEN SO FAR
Lord Ceasar (Active Project NAS)
Dell R720xd (2 x E5-2670v2 + 256GB DDR3-1866 + 20 x 7,68TB SAS SSD(?))
...eller det var planen. Lortet laver fejl på IDRAC.. Den er vi ved at fejlsøge! Og er vi heldige så får vi måske smidt en 20 x 7,68TB SSD i (en mulig, kommende tak til freak_master)
Denne fine sag skal bruges til vores 12 klippere, når de skal tilgå aktive projekter, og det må gerne gå tjept. Bevares, de logger ikke ind på den her server, men de kan finde alt dataen, og det med hastigheder på 10Gbe+!
Vores 4K DCI live produktioner skal også gerne ende herinde, helst. Så der kommer en del trafik igenne, og mon ikke der skal kobles op med 2 x 10Gbe til den her? Hvad tænker I?
Den her server er jeg, som nævnt i indledningen, i gang med at sætte op, den driller, og jeg mangler stadig SSDer til den også!
Grinngots (Archive NAS)
Dell R730x (1 x 2670v3 + 192GB DDR4-2133 + 16 x 6TB SAS HDD + 2 x 200 SATA SSD)
... som virker rigtig fint!
Den her bandit er sat op! Og den virker! Vi kører ZFS med TrueNAS her, for det virker rigtig fint, og jeg har lavet en stor pool, hvor hele 2 diske kan dø, før der sker noget. Det tænker jeg er nok. For alt skal jo smides i skyen anyways!
So far har jeg opsat en test VM på en R720er, og kan konstatere at jeg kan kopiere data med op til 280 MB/s, eller 2.2 GBe, så det er da en start.
Det der mangler her, er nogle JBODs. For jeg løber meget, meget hurtigt tør for plads, og har en satans masse diske, der keder sig! 13 x 10GB + 4.x 14TB, som bare ligger! Det duer ikke!
Vi forsøger at skaffe noget sponsoraftale med WD eller Seagate til projektet, da vi er affilieret med noget populærkultur, hvor det kan give mening. Planen kunne være et Supermicro JBOD med 96 22TB diske. Vi bruger ca. 5-10TB/uge i peak.
Professor Dumbledore
Dell VRTX med 4 x Dell M620 med 2 x E5-2650v2 + 256GB DDR3-1866 RAM + 25 x 240GB SSD)
Den her har vi liiiidt bøvl med. For det første fordi vi skal have den sdiste blade til at virke. Den har deffekt mezz card, og vi ved faktisk ikke hvilktet vi skal købe og sætte i... Kan nogen her hjælpe med et ebay link? Næste problem er faktisk at der er tale om nogle blades, der kommer til at skulle lave ret meget, så vi er liiiiidt kede af CPUerne og det faktum at der køres med DDR3 RAM. Udfordirngen er dog hvor stor gevinsten er mellem en 8 kernet 2667v2 på 3,4 GHz (planlagt upgrade) og en 8 kernet 2667v4 med 3.2 GHz når det ene har kostet gratis og det andet koster en del mere + bøvl.
Vi monterer 4 x RTX A2000 eller RTX 3060Ti i disse. her mangler jeg så 4 x Dell PCIe power, og dem kan jeg so far kun finde til 180 kr/stk. hos Kimbrer, eller eBay med evig leveringstid...
Formålet med den kære professor her, er at agere VM for vores klippere, men jeg ved ikke om jeg løber tør for power med kun 64 kerner til 12 VMs? Overvejer en 10 kernet 2670v2, det giver mig 80 kerner i alt. RAM, der tænker jeg 1TB er fint til 12 mand. GPU mæssigt, bør der også være nok, men sprøgsmålet er om jeg får lov at dele og sprede workload ud på GeForce kort? Så Linus Tech Tips havde et hack? Måske nogle herinde kan hjælpe mig?
Lord Voldemord
Dell M1000e med 8 x M620 med 2 x E5-2650v1 + 192 GB DDR3-1600 RAM
Her skal vi have opgraderet Mørkets Fyrste. Tænker man smider 2 x E5-2697v2 i dem alle og maxer ud med 768GB DDR3-1866 RAM/enhed, så vi rammer 192 kerner og 6.144GB RAM.
Jeg har en NESTOR GPU Enslosure jeg kan smække til, men her er jeg begrænset af båndbredde. Det hedder maks 4 x PCIe 2.0 x8 eller 4 x PCIe 3.0 x4. Båndbredden er samlet 128GBe eller 16 GB/s, latså 1 x PCIe 3.0 x16. Det betyduer effektivt maks 2 x PCIe 3.0 x8, hvis ikke jeg skal give op på ydelse... Eller findes der kort som kan klare sig med 4 x PCIE 3.0 x4 og stadig give mening?
MORE TO COME!
DET OPRINDELIG SKRIV STARTER HER!
Nå! Jeg har været herinde i mange år, og lært meget og delt meget! Fra min fanboytid med min gamle Athlon64 x2, som jeg mente kunne alt, til nu, hvor jeg forsøger at hjælpe le BOFH med at holde den gode tone herinde!
Nu er tiden kommet til et af mine største IT projekter til dato! Jeg skal opsætte et stort netværk med tilhørende servere til mit nye start-up!
Allerede nu har jeg fået hjælp af flere gæve HOL brugere med både donationer og adgang til billige serverstumper! Af hjertet tak til jer alle!
Der vil blive skiftet fra Sandy/Ivy til Broadwell over hele linjen, løbende, mere så folk ikke får tics af alderen på udstyret, men mit startup har ikke råd til en 200.000 kr. server.
Det hele er lidt ala det setup som Linus Tech Tips i sin tid har brugt, og tildels stadig bruger og så alligevel ikke.
Herunder kommer der en masse data til jer! Jeg søger råd, dåd og inputs fra jer alle!
Hvad laver vi:
- Vi producerer 12 videoer til YouTube hver måned
- Vi producerer 5-8 live shows om ugen på to lokationer
- Vi producerer 1-2 TV formater om måneden
- Vi producerer 2-4 podcasts om ugen
- Vi producerer 2-4 kampagne videoer om måneden
- Vi producerer 1-2 reklamefilm hver måned
- Vi producerer 3-6 "short format" videoer til SoMe om ugen
- Dertil planlægning, udvikling, tilrettelæggelse, etc.
Hvad vil vi gerne kunne?
- Lagre og arbejde med data til aktuelle projekter, hurtigt, både ON-LOK og OFF-LOK
- Lagre vores data til færdige projekter, langvarigt med backup i skyen
- Alle vores 12-14 post produktionsmedarbejdere skal kunne tilgå VMs remote og on-site og arbejde med proejkter i Adobe Premiere Pro, Final Cut, Unreal, Blender samt After Effects.
- Vores tilrettelæggere og producerer skal kunne tilgå VMs i de tilfælde opgaven kræver det, for let redigering eller des lige
- Vi skal have en VM til at kunne uploade content til YouTube. Det er mere avanceret end det lyder.
- Vi skal bruge en VM til håndtere data samt backup
- Vi skal bruge en "overordnet" VM til IT administratoren
- Vi vil gerne have vores to lokationer koblet sammen. (København K og Hvidovre)
- Vi skal bruge mindst to VMs til vores DIT afdelng, hvor der køres fra to lokationer
- Vi skal bruge en renderserver til Unreal, Blender, After Effects
Hvad har vi af udstyr:
- 6 x Dell R720 med 384GB DDR3-1866 + 2 x E5-2697v2
- 4 x Dell R720G1 med 0-384 DDR3-1600/1866 + 2 x E5-2670v2+ (nogle er defekte)
- 1 x Dell R730xd med 192GB DDR4-2133 + 1 x E5-2660v3 + 16 x 6TB HDD
- 1 x Dell VRTX med 4 x M620 med hver især 2 x E5-2650v2 + 256GB DDR3-1866
- 1 x Dell M1000e med 8 x M620 med hver især 2 x E5-2650v1 + 192GB DDR3-1600
- 1 x Dell EquaLogic PS4210 med 24 SFF 2.5" slots
- 1 x Netstor NA255A PCIe Expansion Enclosure med 128GBps båndbredde og 4 x x8 PCIe 3.0 slots
- 1 x CISCO 48-port SFP+ 10Gbe switch
- 1 x Netgear 8-port SFP+ + RJ45 10Gbe switch
- 1 x Ubiquity Dream Machine Pro SFP+ 10Gbe router (CITY LOK)
- 1 x Netgear "Gaming" routher 1Gbe router (HVIDOVRE LOK)
Løst udstyr:
- 20+ x SFP+ 10Gbe kabler
- 20+ x RJ45 10Gbe kabler
- 4 x 14TB SATA HDD
- 5 x 10TB SATA HDD
- 8 x 10TB SATA HDD
- 120 x 256GB/240GB SATA 6GBps SSDs at fordele på det hele
- 1 x AMD Radeon RX VEGA64
- 3 x NVIDIA GTX780
- 1 x AMD Radeon RX570 4GB
Hvad er status / mine tanker lige nu:
For det første så vil jeg gerne køre noget populærkultur navngivning, da vi laver setup for en gaming TV kanal og et filmproduktionsselskab og et PR bureau. Så so far kører jeg Harry Potter tema, because, why not!
Som en god start kører vi lige en kort gennemgang af netværk, det er ikke så super kompliceret igen, vi går i detaljer længere nede!
VI har to lokationer som skal op at køre og fandme ikke om der kommer en 3. i USA i Q4, som skal kobles op på "Danmark".
Lokation 1 i København K
Dette er vores server lokation, hvor serverrum befinder sig og hvor alt skal samles. Herinde har vi to etager, hvor øverste etage bruges til post-produktion, og den nederste til vores PR bureau og de ansatte.
Netværk:
1 x 5Gbe WAN til den store verden
1 x 10Gbe til loft der fordeles ud i 8 x 2.5Gbe (CAT7)
1 x 10Gbe til udstyrsrum, hvor vores DIT holder til (CAT7)
6 x 1Gbe til øvrige rum, hvor der blot bruges hotspots (CAT5e)
10GBe mellem alle servere
Post-produktion:
2 x Mac Studio M1 Max til redigering
1 x Mac Pro 6.1 til colorgrade
Pre-produktion
MacBook Air 15" og diverse andre, som skal opsættes med Persec til VM på server.
Storage:
"Grinngots" (Storage server
1 x Dell R730xd opsat med TrueNas og sine 16 x 6TB diske, hvorfra jeg har delt SMB shares på netværket, og lavet en stor pool med ZFS. 2 diske bruges som spare.
Dertil 1 x Dell EquaLogic opsat med 24 x 256GB SSD, til korttidslagring og aktive projekter. Denne er jeg i gang med at opsætte og den skal tilsluttes 730eren!
Til de resterende diske, kan jeg udvide mit "pool" med 4 diske ad gangen, og tænker at buge en Dell MD1200 JBOD til formålet, selvom jeg godt kunne tænke mig noget laaaangt større.
VMs
Her skal jeg bruge små 20 VMs i alt, nogle mere "buff" end andre. Planen er at indkøbe en stak RTX2070 eller Quadro RTX A2000 til formålet, som monteres direkte i serveren.
Server til editor VMs bliver VRTX, hvortil jeg monterer 4 x A2000 eller M4000 i, hvad end jeg kan skaffe. Så kan jeg dele regnekraften på tværs af de 12 editorer, og da Premiere Pro er CPU bound, vil jeg swappe 2650erne ud med 2697erne, så der er nok power til redigeringen. Som software bruges Persec, der er gratis i form af en licens per server, dog med en købelicens til color grade der er 4:4:4, som Persec understøtter.
De resterende 8 VMs skal være til YouTube upload, Dropbox Backup, DIT, datahåndtering samt en til admin og et par stykker til tilrettelæggerne og vores producere.
Renderfarm
Her tænkte jeg at bruge M1000e, opgradere til E5-2687Wv2 eller 2667v2, og så smække Nestor til her med 4 x RTX 4060Ti/svarende Quadro, som umiddelbart er maks ift. båndbredden der tilbydes.
Lokation 2 i Hvidovre
Her har vi fire klienter, som er fysike maskiner, der alle kun skal kunne logge på Persec og det er det. De er koblet op med vores server. Hertil vil der være en DIT VM til når data skal sikres.
Udover de fire klienter er der to "TV servere", da det er en TV station, som er herude. De får data fra en lokal NAS, som bruges til sendefladen. Det er ikke en smart løsning og den skal løses.
Udover de ovenstående maskiner, er der en enkelt "live" maskine til når der produceres live, den sender ud til WAN, og backup gemmes på NAS.
Her skal vi have fjernet NAS, migreret den til LOK 1, og så mappet nye netværksdrev herude.
VPN
Nu til det der driller mig mest. Jeg skal have koblet vores to lokationer sammen på ét stort netværk.
Der er en Dream Machine Pro på LOK 1, som har en VPN opsat via L2P og Teleport. Den virker fint hvorend jeg er, men er dog lidt sløv i det...
Dream Machine er opsat med DHCP på 192.168.180.xxx og har så IP adresser derfra.
De to netværk her skal kobles sammen. Jeg har overvejet at sætte en ny Dream Machine Pro op på LOK2 og så lave en site-site VPN, men er det noget som virker og som folk har gode erfaringer med? Umiddelbart må subnet vel ikke være det samme ? Eller skal det være det samme?
Sammenfatning
Hold kæft et skriv det blev til, jeg mangler sikkert 1000 ting, men det er så derfor jeg håber at nogle herinde har input. Der er ting jeg ikke kan og må gå i detaljer med, da sikkerhed er vigtigt, men det er omfattende, og jeg søger råd og dåd. Jeg bruger i øvrigt Proxmox til VMs, det er sgu smart! ESXI kunne ikke nok i sin gratis version, desværre.
Nå ja, vi løber nok snart tør for plads. Vi laver ca. 2-5TB data/uge, så det går rigtig stærkt.
Der kommer kun flere produktioner til som tiden skrider frem, især ehr til efteråret.
?FOR AT SPARE JERES SCROLLHJUL KAN I LÆSE EN OPDATERING / STATUS ØVERST I DENNE POST! :)
God aften!
//Kvist
<3
Spændende, god vínd med projektet :)
Fedt projekt
Dine lokationer skal kører med hvert sit ip segment, ellers går der spaz i routning
husk at give den lidt ekstra ranges til fremtidig brug, så der ikke er overlap evter 6 mdr når der skal laves nyt serversegment.
/Fido-dk
Dine lokationer skal kører med hvert sit ip segment, ellers går der spaz i routning
husk at give den lidt ekstra ranges til fremtidig brug, så der ikke er overlap evter 6 mdr når der skal laves nyt serversegment.
/Fido-dk
Hvor fedt at du deler!
Also, kan I ikke gå all-in på "CSR" og miljøvenlighed og kun producere videoer i 720p, bare for at spare data, storage, og trafik på alverdens netværk... gad vide hvornår "svanemærket" kommer til online content, og folks hungren efter 4K-eller-mere content bliver koblet sammen med miljøansvar?? :)
OBS : Ovenstående var en strøtanke - der sker meget på min planet - og bør ignoreres. Jeg synes det er sweeeet at du deler noget spændende. Jeg glæder mig til næste afsnit i the Big Server Adventure!
Also, kan I ikke gå all-in på "CSR" og miljøvenlighed og kun producere videoer i 720p, bare for at spare data, storage, og trafik på alverdens netværk... gad vide hvornår "svanemærket" kommer til online content, og folks hungren efter 4K-eller-mere content bliver koblet sammen med miljøansvar?? :)
OBS : Ovenstående var en strøtanke - der sker meget på min planet - og bør ignoreres. Jeg synes det er sweeeet at du deler noget spændende. Jeg glæder mig til næste afsnit i the Big Server Adventure!
Lige en kommentar til NAS på lok 2
Inden denne flyttes til lok 1 skal du lave nogle seriøse speedtests - kan VPN overhovedet levere data i den hastighed som der skal bruges til TV stationen og hvad hvis nettet går ned?
Ville en mere optimal løsning ikke være at have et filshare med DFS som synker fra lok 1, så vil data være tilgængelig hvis VPN er nede.
/Fido-dk
Inden denne flyttes til lok 1 skal du lave nogle seriøse speedtests - kan VPN overhovedet levere data i den hastighed som der skal bruges til TV stationen og hvad hvis nettet går ned?
Ville en mere optimal løsning ikke være at have et filshare med DFS som synker fra lok 1, så vil data være tilgængelig hvis VPN er nede.
/Fido-dk
Jeg har en del 1U Intel maskiner stående med 2x E5-2697v3 hvis du skal opgraderer. Plads til 4 diske.
Derudover har jeg adgang til en masse diske, f.eks. sindsygt billige 2TB SAS / 3TB SAS / 4TB SATA.
Nogle af disse diske kommer i SAS disk skuffer, så de nemt kan sættes til en server med SAS HBA kort. Hver skuffe tager 15 3.5" diske (jeg har også til 24x 2.5"), dog ikke Dell men EMC.
Jeg har også en del gigabit switche, måske ikke så interessant men det kan være godt at have en backup liggende så man som minimum kan holde produktionen kørende hvis noget vælger at gå ned.
Med hensyn til subnet, så det eneste subnet gør er at fortælle hvilken del af IP adressen er netværk, og hvilken del er enheden på netværket. Du er måske ude i at lave flere vlan istedet, hvis du vil have flere netværk men bruge samme switches i dit netværk.
VPN er jeg dog ikke så god til, har aldrig koblet 2 netværk sammen på den måde.
Derudover har jeg adgang til en masse diske, f.eks. sindsygt billige 2TB SAS / 3TB SAS / 4TB SATA.
Nogle af disse diske kommer i SAS disk skuffer, så de nemt kan sættes til en server med SAS HBA kort. Hver skuffe tager 15 3.5" diske (jeg har også til 24x 2.5"), dog ikke Dell men EMC.
Jeg har også en del gigabit switche, måske ikke så interessant men det kan være godt at have en backup liggende så man som minimum kan holde produktionen kørende hvis noget vælger at gå ned.
Med hensyn til subnet, så det eneste subnet gør er at fortælle hvilken del af IP adressen er netværk, og hvilken del er enheden på netværket. Du er måske ude i at lave flere vlan istedet, hvis du vil have flere netværk men bruge samme switches i dit netværk.
VPN er jeg dog ikke så god til, har aldrig koblet 2 netværk sammen på den måde.
Spændende. God vind! :)
Jeg er kraftigt intimideret af så mange ord jeg ikke forstår, serveret på én gang.
Men jeg ønsker dig al mulig held og lykke med projektet - iværksættere (og generelt personer der kan et eller andet) er så'n lidt de typer man i al hemmelighed beundrer.
Meget mere avanceret end du lige fortalte mig! ;-D og jeg mangler stadigvæk billeder af setuppet! Jeg skal da se "mine" gamle servere i aktion haha
Også håber jeg at jeg snart kan bidrage yderligere snarest! det hele lyder spændende jo!
Også håber jeg at jeg snart kan bidrage yderligere snarest! det hele lyder spændende jo!
Hmm, Super spændende,
Jeg vil nok, bygge 2 maskiner, som skal køre Pfsense som router / VPN;
Der skal ikke særligt meget data kraft til st hoste 1 gb VPN trafik, ( jeg køre det som hyper v, på en i7 6700, og kan trække 1 gb mellem min lok.)
SÅ tænker hvis i har 5gb begge steder, burde en nyere CPU med I5 1040 etc, kunne hoste det til UG
Jeg vil nok, bygge 2 maskiner, som skal køre Pfsense som router / VPN;
Der skal ikke særligt meget data kraft til st hoste 1 gb VPN trafik, ( jeg køre det som hyper v, på en i7 6700, og kan trække 1 gb mellem min lok.)
SÅ tænker hvis i har 5gb begge steder, burde en nyere CPU med I5 1040 etc, kunne hoste det til UG
husk backup systemer i forhold til strøm og internet nedbrud på kritisk udstyr :)
Fedt projekt!
Husk at hold styr på sikkerheden. Det er nemmest at gøre tingene korrekt første gang! :)
Og få styr på backup, det kan blive vigtigt!
Husk at hold styr på sikkerheden. Det er nemmest at gøre tingene korrekt første gang! :)
Og få styr på backup, det kan blive vigtigt!
Beklager hvis jeg har misset hvem "vi" er, men vil du ikke fortælle det? Evt bare smid navnet på YT-kanalen i en DM, hvis dét at fortælle navnet går imod en selvprovomeringsregel.
Vil opfordre til at i dokumenterer hvordan jeres server setup mm er. Det er det jeg som regel synes er det mest spændende at se, næsten lige meget hvad emnet på "hoved kanalen er"
Fedt skriv og lyder dejligt spændende.
To tanker:
Gringots jeg tror du skal overveje at dele det op på to maskiner, mistænker at du ellers kan saturate dit nic/bus
Så må du evt navngive den hurtige efter dragen hos gringots
ubiqiti gør det ret nemt at lave vpn, tjek deres specs for vpn performance, den er ikke altid så høj som man tror. Har du andre moduler på kan det også påvirke performance deep packet inspection etc koster bare performance.
Du har tydeligtvis tænkt det her ret godt igennem, vær obs på backbone speed på dine switches. Du har tydeligvis nok forstand til at forstå hvad du regner med at trække igennem.
Jeg har en ubiqiti 48 port jeg nok kunne være indstillet på at sælge til en fair pris. Smider lige en pb med tlf nr, så ved du hvor du har mig.
Tror mange ville værdsætte lidt løbende feedback på en fed opgave. Det udstyr du har er ret pænt og man kan købe sig fattig i det nyeste software.
Kunne man finde en gammel emc og få overdraget licenserne kan du få noget ret pæn performance ud af sådan en satan.
Husk gammelt udstyr bruger pænt meget strøm og kræver køling. Overvej colocation hvis i ikke allerede har det, men vær obs på transport priser, da i tydeligvis skubber meget data.
Husk at lave temperatur overvågning, helst selvstændig enhed med 4g modem som kan begynde at tude hvis temperatur bliver for høj. Muligvis kan man nu købe en dims som kan måle og sende sms eller lign af sig selv. Et serverrum kan løbe meget hurtigt varmt hvis man ikke har dobbelt køling evner.
Har du dobbelt køling så mål hvor længe der går fra en af dem slukkes til du har alvorlige problemer.
Overvej også ups (det er her colocation begynder at komme hjem omkostningsmæssigt), jeg ville fokusere på gringot og evt dragen, samt dens komponenter. Det er ting som æder strøm så du skal altså en del op i kaliber for at finde noget.
Tænk MEGET nøje over især ransomware angreb, data skal skubbes ud af jeres egen rækkevidde og helst til et sted hvor det ikke er muligt at slette.
EMC og lign er faktisk pænt snedige her for du kan restore sektorer (glemt hvad de hedder), fremfor hele boksen, samt du kan ikke nemt slette de tidligere kopier af disse sektorer for det ligger i emc koden. men EMC og deres venner koster kassen.
Held og lykke med det.
To tanker:
Gringots jeg tror du skal overveje at dele det op på to maskiner, mistænker at du ellers kan saturate dit nic/bus
Så må du evt navngive den hurtige efter dragen hos gringots
ubiqiti gør det ret nemt at lave vpn, tjek deres specs for vpn performance, den er ikke altid så høj som man tror. Har du andre moduler på kan det også påvirke performance deep packet inspection etc koster bare performance.
Du har tydeligtvis tænkt det her ret godt igennem, vær obs på backbone speed på dine switches. Du har tydeligvis nok forstand til at forstå hvad du regner med at trække igennem.
Jeg har en ubiqiti 48 port jeg nok kunne være indstillet på at sælge til en fair pris. Smider lige en pb med tlf nr, så ved du hvor du har mig.
Tror mange ville værdsætte lidt løbende feedback på en fed opgave. Det udstyr du har er ret pænt og man kan købe sig fattig i det nyeste software.
Kunne man finde en gammel emc og få overdraget licenserne kan du få noget ret pæn performance ud af sådan en satan.
Husk gammelt udstyr bruger pænt meget strøm og kræver køling. Overvej colocation hvis i ikke allerede har det, men vær obs på transport priser, da i tydeligvis skubber meget data.
Husk at lave temperatur overvågning, helst selvstændig enhed med 4g modem som kan begynde at tude hvis temperatur bliver for høj. Muligvis kan man nu købe en dims som kan måle og sende sms eller lign af sig selv. Et serverrum kan løbe meget hurtigt varmt hvis man ikke har dobbelt køling evner.
Har du dobbelt køling så mål hvor længe der går fra en af dem slukkes til du har alvorlige problemer.
Overvej også ups (det er her colocation begynder at komme hjem omkostningsmæssigt), jeg ville fokusere på gringot og evt dragen, samt dens komponenter. Det er ting som æder strøm så du skal altså en del op i kaliber for at finde noget.
Tænk MEGET nøje over især ransomware angreb, data skal skubbes ud af jeres egen rækkevidde og helst til et sted hvor det ikke er muligt at slette.
EMC og lign er faktisk pænt snedige her for du kan restore sektorer (glemt hvad de hedder), fremfor hele boksen, samt du kan ikke nemt slette de tidligere kopier af disse sektorer for det ligger i emc koden. men EMC og deres venner koster kassen.
Held og lykke med det.
#1 -> <3
#2 -> Mange tak! :)
#3 -> Det giver mening, også ved Site-Site med Ubiquity?
#4 -> Vi laver det hele i 480p og bruger up-scale til 4K bagefter!
#5 -> IPSec burde kunne lave 1,5 Gbe+, håber vi!
#6 -> Du har fået en PM!
#7 -> Tak! :)
#8 -> Tak for det pæne skriv! :)
#9 -> Haha! Tusind, tusind tak for venligheden! Det har betydet alt for os! Og det kan du tro! Er ved at bygge serverum færdigt, så du kan se det "rigtigt"! Og ja! Håber vi kan "ekskvere" dne planlangte "opgradering"!
#10 -> Vi kører IPSec mellem to Dream Machine Pros!
#11 -> Vi har to linjer ind + UPS!
#12 -> Agreed!
#13 -> Jo da!
#14 -> Ofc!
#15 -> Vi kommer til at gå meget op i sikkerheden. Og tror jeg deler det hele lidt op faktisk!
#2 -> Mange tak! :)
#3 -> Det giver mening, også ved Site-Site med Ubiquity?
#4 -> Vi laver det hele i 480p og bruger up-scale til 4K bagefter!
#5 -> IPSec burde kunne lave 1,5 Gbe+, håber vi!
#6 -> Du har fået en PM!
#7 -> Tak! :)
#8 -> Tak for det pæne skriv! :)
#9 -> Haha! Tusind, tusind tak for venligheden! Det har betydet alt for os! Og det kan du tro! Er ved at bygge serverum færdigt, så du kan se det "rigtigt"! Og ja! Håber vi kan "ekskvere" dne planlangte "opgradering"!
#10 -> Vi kører IPSec mellem to Dream Machine Pros!
#11 -> Vi har to linjer ind + UPS!
#12 -> Agreed!
#13 -> Jo da!
#14 -> Ofc!
#15 -> Vi kommer til at gå meget op i sikkerheden. Og tror jeg deler det hele lidt op faktisk!
?TOPIC OPDATERET!
Hvad hedder jeres YouTube kanal?
Spændende projekt! :)
Spændende projekt! :)
Ja meget spændende. Smid lige et "LTT link" når det samles/bygget :)
Jeg er også nysgerrig.
Er det relateret til HOL eller er det bare regulær reklame for et personligt projekt?
Vi har ikke vores egen kanal, det er for en af vores influencere, som har knapt 113.000 følgere, og så producerer vi internt i huset samt for en gaming TV kanal. Bemærk hvordan, der ikke nævnes konkrete navne, da jeg netop ikke ønsker at "lave reklame". :)
Fair nok.
Du må jo løfte sløret når I går i luften.
Nu har du lagt i kakkelovnen, så er du ligesom tvunget til at køre historien til dørs.
(er der bøvl med moderatorer i den forbindelse, kan du jo bare moderere dem)
Nå, hemmeligt behøver det jo egentligt ikke at være.
Min virksomhed hedder Tanooki Group, og TV kanalen er Pixel.TV, influenceren er Sophia Brown!
og det kommende PR bureau er BOOSTus PR, som ingen aner en kæft om, for det findes slet ikke endnu :D
Så! Nu er kortene på bordet! Alt ovenstående er i øvrigt også offenligt tilgængeligt info mere eller mindre :D
Min virksomhed hedder Tanooki Group, og TV kanalen er Pixel.TV, influenceren er Sophia Brown!
og det kommende PR bureau er BOOSTus PR, som ingen aner en kæft om, for det findes slet ikke endnu :D
Så! Nu er kortene på bordet! Alt ovenstående er i øvrigt også offenligt tilgængeligt info mere eller mindre :D
Jeg går ikke ud fra live shows betyder hvad jeg normalt forbinder med live shows..
Er det tech-indhold eller er det alt mellem himmel og jord?
Pixel.TV ser da spændende nok ud, de har været i gang siden 2007, jeg har aldrig hørt om dem - men så er I så nye eksterne producenter på video-siden?
#23 Undskyld, men nu fatter jeg nada om alt det hersens influencers/SoMe o.s.v.
Så ærlig talt...så kunne det da være en glimrende anledning til en artikel-serie her på HOL om den slags. Behind the scenes...i meget langsom tempo, så også jeg kan følge med.
Food 4 thought :)
-------
Edit:
Den eneste influencer, jeg kender...eller kendte var the original:
https://da.wikipedia.org/wiki/J%C3%...
SoMe med røde seler :)
Så ærlig talt...så kunne det da være en glimrende anledning til en artikel-serie her på HOL om den slags. Behind the scenes...i meget langsom tempo, så også jeg kan følge med.
Food 4 thought :)
-------
Edit:
Den eneste influencer, jeg kender...eller kendte var the original:
https://da.wikipedia.org/wiki/J%C3%...
SoMe med røde seler :)
Uden at bruge et link.
Games Twitch
Blade Server 2023
Games Twitch
Blade Server 2023
Bruger påkrævet
En bruger er påkrævet for at oprette svar på Hardwareonline.dk